前言
贫穷限制了我的想象,从大学进入到社会这么久,从刚开始的兴致勃勃,觉得钱有什么难赚,到现在的啪啪打脸,就很真实,租房现在更是人生大事,在这拥挤的城市,都想先拥有一个属于自己的空间,今天小编就来爬取链家二手房的数据,既能达到省钱又能免了很多去看房的时间,提前了解二手房的数据,不入坑,不进坑。
一、查找数据所在位置:
打开链家官网,进入二手房页面,选取某个城市,可以看到该城市房源总数以及房源列表数据。
二、确定数据存放位置:
某些网站的数据是存放在html中,而有些却api接口,甚至有些加密在js中,还好链家的房源数据是存放到html中:
三、获取html数据:
通过requests请求页面,获取每页的html数据
# 爬取的url,默认爬取的南京的链家房产信息
url = 'https://nj.lianjia.com/ershoufang/pg{}/'.format(page)
# 请求url
resp = requests.get(url, headers=headers