Python爬取北京地区短租房信息

本文利用Requests和BeautifulSoup第三方库，爬取小猪短租网北京地区短租房的信息。代码参考《从零开始学Python网络爬虫》。

完整代码如下：

1. from bs4 import BeautifulSoup

2. import requests

3. import time

4. 
   

5. headers = {

6.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'

7. }

8. 
   

9. def judgment_sex(class_name):

10.     if class_name == ['member_icol']:

11.         return '女'

12.     else:

13.         return '男'

14. 
    

15. def get_links(url):

16.     wb_data = requests.get(url,headers = headers)

17.     soup = BeautifulSoup(wb_data.text,'lxml')

18.     links = soup.select('#page_list > ul > li > a')

19.     for link in links:

20.         href = link.get("href")

21.         get_info(href)

22. 
    

23. def get_info(url):

24.     wb_data = requests.get(url,headers = headers)

25.     soup = BeautifulSoup(wb_data.text,'lxml')

26.     tittles = soup.select('div.pho_info > h4')

27.     addresses = soup.select('span.pr5')

28.     prices = soup.select('#pricePart > div.day_l > span')

29.     imgs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img')

30.     names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')

31.     sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > span')

32. 
    

33.     f = open('xiaozhu_data.txt', 'a+',encoding='utf-8')

34.     for tittle,address,price,img,name,sex in zip(tittles,addresses,prices,imgs,names,sexs):

35.         data = {

36.             'tittle':tittle.get_text().strip(),

37.             'address':address.get_text().strip(),

38.             'price':price.get_text(),

39.             'img':img.get("src"),

40.             'name':name.get_text(),

41.             'sex':judgment_sex(sex.get("class"))

42.         }

43.         print(data,file = f)

44.     f.close

45. 
    

46. if __name__ == '__main__':

47.     urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,50)]

48.     for single_url in urls:

49.         get_links(single_url)

50.         time.sleep(2)

欢迎一起交流学习！