python二手书_python 实现抓取58同城二手物品信息

1 . 获取二手分类信息

我们首先要分析的网址是: http://bj.58.com/sale.shtml 首先我们要将所有的二手物品分类给获取下来：(这里解析网页用的是BeautifulSoup,此处不做过多的讲解，可以参考网上关于BeautifulSoup的教程)

base_url_mobile = 'http://m.58.com/bj'

# 解析得到所有的分类

def parse_channel_list():

url = 'http://bj.58.com/sale.shtml'

html = requests.get(url)

soup = BeautifulSoup(html.text, 'lxml')

items = soup.select('ul.ym-submnu > li > b > a')

channel_urls = []

for item in items:

print(item)

url = base_url_mobile + item.get('href') # base_url_mobile

channel_urls.append(url)

content = '\n'.join(channel_urls)

write_to_file(content)

def write_to_file(content):

path = '{0}/{1}'.format(os.getcwd(), 'doc')

if not os.path.exists(path):

os.makedirs(path)

file_path = '{0}/{1}.{2}'.format(path, '58samecity', 'txt')

with open(file_path, 'a', encoding='utf-8') as f:

f.write(content + '\n')

print('写入成功', content)

f.close()

这里我们就将所有的分类信息的url存入了文件 doc/58samecity.txt中。其中用到的 base_url_mobile ，因为移动端的数据结构相对来说更加的清晰一些，因此在下一步要处理的分类信息 我们采用了移动端的网页结构来进行解析。

以后，要获取所有的分类的url只需要调用下面的方法即可：

def get_channel_list():

urls = []

path = '{0}/{1}'.format(os.getcwd(), 'doc')

file_path = '{0}/{1}.{2}'.format(path, '58samecity', 'txt')

with open(file_path, 'r') as f:

lines = f.readlines()

for line in lines:

urls.append(line.strip())

# 去除重复

urls1 = sorted(set(urls), key=urls.index)

# print(urls1)

return urls1

2 . 解析每个分类

1 . 获取该分类下的二手物品帖子列表

# 通过分类URL, 获取该分类下的所有发帖的url(此处用的是移动端的接口)

# @url 分类的url

# @pages 页码

def get_urls_mobile_from(url, pages):

list_view = '{}/pn{}/'.format(url, str(pages))

html = requests.get(list_view)

soup = BeautifulSoup(html.text, 'lxml')

if soup.find('.nobg'): # 没有数据, 返回

return

list = soup.select('.asynInfo .zhuanzhuan > li > a')

for li in list:

href = li.get('href').split('?')[0]

data = {

'href' : href

}

url_pc = href.replace('m.', '')

if url_pc == 'http://jump.zhineng.58.com/jump':

continue

parse_detail_from(url_pc)

save_channel_to_mongo(data)

sleep(1)

2 . 对列表中的每一条帖子进行详情解析：

def parse_detail_from(url):

try:

html = requests.get(url)

soup = BeautifulSoup(html.text, 'lxml')

print(soup.find('title').get_text())

if soup.find('title').get_text() == '请输入验证码':

print('操作太频繁了,需要用ip代理了')

title = soup.select('.info_titile')[0].get_text()

view = soup.select('.look_time')[0].get_text()[0:-3]

area = soup.select('div.palce_li > span > i')[0].get_text().split('-')

if len(area) == 2:

area = area[1]

elif len(area) == 1:

area = area[0]

else:

area = '不明'

cate = list(soup.select('div.breadCrumb.f12')[0].stripped_strings)

good = {

'url' : url,

'title' : title,

'view' : view,

'area' : area,

'cate' : cate

}

save_goods_to_mongo(good)

except TimeoutException:

parse_detail_from(url)

代码暂时未处理因频繁操作导致的需要验证的问题，这个问题我将在另一篇文章(利用代理ip解决因频繁操作造成的访问受限问题)进行详细的分析解答。

3 . 将北京同城二手物品分地区生成分析图表：#

Screen Shot 2018-03-15 at 3.33.37 PM.png

图表的生成 用到了 jupyter notebook, 详情请查看我的另一篇文章：jupyter 的安装与简单使用。

另外此工程的所有代码将在下面附上：

点这里：源码

此篇到此结束，希望多多提意见，共同学习！

同时，此系列文章也会不定期更新哦！~~