文章目录
前言
今天给大家介绍的是Python爬虫二手房数据。
一、开发工具
Python版本: 3.6
相关模块:
requests模块
parsel模块
csv模块
re模块
二、环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
三、数据来源查询分析
浏览器中打开我们要抓的页面
按F12进入开发者工具,查看我们想要的二手房数据
这里我们需要页面数据就可以了
四、代码实现
for page in range(1, 11):
print(f'正在爬取第{
page}页的数据内容')
url = f'https://cs.lianjia.com/ershoufang/pg{
page}/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
response = requests.get(url=url