又到了所谓的金山银四就业季,那找工作的小伙伴宿舍住不惯的话,就会去租房子住,当然也不一定有宿舍,那么自己找房子的话,肯定是不知道哪哪好。
所以今天教大家用Python来采集本地房源数据,帮助大家筛选好房。
本文涉及知识点
-
爬虫基本流程
-
requests 发送请求
-
parsel 解析数据
-
csv 保存数据
开发环境
Python 3.8
Pycharm
本文思路
一、思路分析
找到数据来源
https://cs.anjuke.com/sale/p1/?from=navigation
二、代码实现
-
发送请求 & 获取数据
-
解析数据 (提取你想要的数据)
-
保存数据
代码展示
为了防止大家看不懂,我还录制了视频详细进行讲解,包括完整代码都打包好了。
还有数百本电子书,大量的视频教程,直接私信我获取吧。
使用的模块
import requests
import parsel
import csv
发送请求 & 获取数据
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}
response = requests.get(url, headers=headers, proxies=get_proxies())
html_data = response.text
解析数据
selector = parsel.