scrapy案例——链家租房数据的爬取

人生の三重奏

于 2024-10-19 20:19:29 发布

阅读量1.4k

点赞数 46

文章标签： scrapy

本文链接：https://blog.csdn.net/qq_53256193/article/details/142744711

版权

案例需求：

1.使用scrapy爬虫技术爬取链家租房网站（成都租房信息_成都出租房源|房屋出租价格【成都贝壳租房】）的数据（包括标题、价格和链接）

2.利用XPath进行数据解析

3.保存为本地json文件

分析：

请求地址：

成都租房信息_成都出租房源|房屋出租价格【成都贝壳租房】

伪装浏览器

USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"

关闭君子协议——注释这行即可

# ROBOTSTXT_OBEY = True

XPath解析数据

#2.解析数据
name=response.xpath('//div[@class="content__list--item"]//a[@class="content__list--item--aside"]/@title').extract()
price = response.xpath('//span[@class="content__list--item-price"]/em/text()').extract()
link = response.xpath('//div[@class="content__list--item"]//a[@class="content_