链家租房数据爬虫

最新推荐文章于 2024-10-19 20:19:29 发布

m0_69208651

最新推荐文章于 2024-10-19 20:19:29 发布

阅读量1.2k

点赞数 1

文章标签： python 爬虫

本文链接：https://blog.csdn.net/m0_69208651/article/details/128539531

版权

利用xpath和正则对链家网站北京市东城区、海淀区、丰台区的租房房源前50页数据进行爬取。数据包括链家网站链家网站北京市东城区、海淀区、丰台区的租房房源数据共4500条，包括房源信息标题、区域、地点、房屋名称、建筑面积、朝向、户型、价格、详情页链接等信息。

import requests
import json
from lxml import etree
import re

def get_info(zone):
    for i in range(1, 51):
        headers = {
            "user-agent": "# 自己的user-agent"
        }

        url = 'https://bj.lianjia.com/zufang/'+zone+'/pg'+str(i)+'/#contentList'
        url_total = 'https://bj.lianjia.com/zufang/'+zone
        # get or post 看请求Headers
        html = requests.get(url, headers=headers)
        html = html.text
        soup = etree.HTML(html)

        # 标题
        title = soup.xpath('/html/body/div[3]/div[1]/div[5]/div[1]/div[1]/div/div/p[1]/a//text()')
        title_new = []
        for i