xpath爬取链家二手房

本文介绍了如何利用XPath语法在Python中爬取链家网站上的二手房数据,包括房源价格、位置和面积等关键信息,从而实现自动化房产数据收集。
摘要由CSDN通过智能技术生成
import requests
from lxml import etree
from fake_useragent import UserAgent
import random
import time

class LianjiaSpider(object):
    def __init__(self):
        self.url='https://nc.lianjia.com/ershoufang/pg{}/'

    #功能函数:随机获取User-Agent
    def get_headers(self):
        ua=UserAgent()#创建UserAgent对象
        headers={
    "User-Agent": ua.random}#随机获取请求头
        return headers

    #获取页面
    def get_html(self,url):
        #设置超时时间为5秒,尝试次数为3次
        for i in range(3):
            try:
                res = requests.get(url
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用requests库和xpath爬取链家租房的信息,可以按照以下步骤进行操作: 1. 首先,需要导入requests库和lxml库,用于发送请求和解析HTML页面。可以使用以下代码导入库: ```python import requests from lxml import etree ``` 2. 然后,需要构造请求头和URL,发送请求获取HTML页面。可以使用以下代码发送请求: ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } url = 'https://bj.lianjia.com/zufang/' response = requests.get(url, headers=headers) html_str = response.text ``` 3. 接下来,可以使用lxml库的etree模块来解析HTML页面,并使用xpath表达式提取所需的房源信息。可以使用以下代码进行解析和提取: ```python html = etree.HTML(html_str) house_list = html.xpath('//div\[@class="content__list"\]/div\[@class="content__list--item"\]') for house in house_list: area = house.xpath('.//p\[@class="content__list--item--des"\]/a\[1\]/text()')\[0\] community = house.xpath('.//p\[@class="content__list--item--des"\]/a\[2\]/text()')\[0\] layout = house.xpath('.//p\[@class="content__list--item--des"\]/span\[1\]/text()')\[0\] size = house.xpath('.//p\[@class="content__list--item--des"\]/span\[2\]/text()')\[0\] orientation = house.xpath('.//p\[@class="content__list--item--des"\]/span\[3\]/text()')\[0\] price = house.xpath('.//span\[@class="content__list--item-price"\]/em/text()')\[0\] print(area, community, layout, size, orientation, price) ``` 4. 最后,可以将提取到的房源信息保存到Excel文件中。可以使用pandas库来创建DataFrame对象,并使用to_excel方法将数据保存到Excel文件。可以使用以下代码进行保存: ```python import pandas as pd data = pd.DataFrame({ '地区': area_list, '小区名': community_list, '户型': layout_list, '面积': size_list, '朝向': orientation_list, '价格(元/月)': price_list }) data.to_excel('house_info.xlsx', index=False) ``` 以上就是使用requests库和xpath爬取链家租房信息的步骤。通过发送请求获取HTML页面,使用xpath表达式提取所需的信息,并将提取到的信息保存到Excel文件中。 #### 引用[.reference_title] - *1* *2* [利用xpath爬取链家租房房源数据并利用pandas保存到Excel文件中](https://blog.csdn.net/renhongbin614/article/details/104540204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [爬虫三:用xpath爬取链家二手房信息](https://blog.csdn.net/qq_23860475/article/details/103505587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值