主要思路:
从列表页获取每个号码的详情页链接,然后在获取详情页链接的信息,把收集的信息保存到文档文件中或者保存在数据库中(主要使用的是MongoDB)
完成步骤:
1.获取详情页链接,
url = "http://bj.58.com/shoujihao/pn{}/".format(num)
response = requests.get(url,headers=headers)
time.sleep(1)
soup = BeautifulSoup(response.text,'lxml')
if num == 1:
boxlist = soup.select('div.boxlist div.boxlist')[1]
else:
boxlist = soup.select('div.boxlist div.boxlist')[0]
title = boxlist.select('strong.number')
links = boxlist.select('a.t')
获取详情页的信息,
price = soup.find_all('span',class_='price')[0].text.rstrip()
print price
city = [i.string.rstrip() for i in soup.find_all('div',class_='su_con')[1].children][1]
print city
seller = soup.find_all('a',class_='tx')[0].string
print seller
简单分析一下,看一下那种价格的数量最多(0表示面议)
show.png
完成。