Python爬取分析北京二手房数据？数据结果真的太吓人了

res = requests.get(‘http://bj.lianjia.com/ershoufang/haidian/pg’+str(i),headers=headers)

使用html筛选器

soup = BeautifulSoup(res.text, ‘html.parser’)

#print soup

网站每页呈现30条数据，依次爬取详细的信息

for j in range(0,30):

获取房屋详细信息的链接

url = soup.select(‘.sellListContent’)[0].select(‘.img’)[j].get(‘href’, None)

解析每个房子的详细信息

接下来，获取到每个房子的URL了，就是爬取URL对应的数据并对一个个的房屋获取其详细信息了，思路同上，也是根据源码获取相关的标签，然后获取数据，这里将每个房子的信息保存在字典中。直接贴代码：

def gethouseInfo(url):

“”"

获取房子的详细信息

:param url: 子地址

:param soup: 父XML，可以从中获取小区信息

:return:

“”"

返回的数据类型为字典

info= {}

请求子页面

res = requests.get(url)

提取子域名内容,即页面详细信息

soup=BeautifulSoup(res.text,‘html.parser’)

小区信息

communityName = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.communityName’)[0].select(‘.info’)[0].get_text()

info[‘communityName’] = communityName

获取价格信息，包括总价和均价

price = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.price’)[0].select(‘.total’)[0].get_text()

unit = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.price’)[0].select(‘.unit’)[0].get_text()

info[‘price’] = price+unit

unitprice = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.unitPrice’)[0].select(‘.unitPriceValue’)[0].get_text()

info[‘unitprice’] = unitprice

获取房屋户型

room = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.room’)[0].get_text()

info[‘room’] = room

获取朝向信息

type = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.type’)[0].get_text()

info[‘type’] = type

获取房屋面积

area = soup.select(‘.overview’)[0].select(‘.content’)[0].select(‘.area’)[0].get_text()

info[‘area’] = area

return info

我爬取了30套房子的信息，结果如下：

area communityName price room type unitprice

0 86.3平米1988年建/板楼 金沟河3号院 630万 3室1厅中楼层/共6层 南 北简装 73001元/平米

1 77.1平米2003年建/板楼 百旺新城 620万 2室1厅顶层/共6层 南 北简装 80415元/平米

2 94.31平米2004年建/板楼 幸福时光 690万 2室1厅高楼层/共6层 南 北简装 73163元/平米

3 234.12平米2001年建/板楼 万泉新新家园 2980万 4室2厅底层/共6层 南 北平层/精装 127285元/平米

4 54.5平米1987年建/板塔结合 北洼西里 465万 2室1厅高楼层/共17层 西南简装 85321元/平米

5 107.99平米2000年建/板楼 玉渊潭南路9号院 1360万 2室1厅中楼层/共6层 南 北精装 125938元/平米

6 76.07平米2003年建/塔楼 逸成东苑 618万 2室1厅低楼层/共22层 南 北平层/简装 81241元/平米

7 68.39平米1999年建/塔楼 今典花园 698万 2室1厅低楼层/共26层 南简装 102062元/平米

8 83.3平米1990年建/板楼 柳林馆 865万 3室1厅中楼层/共6层 南 北简装 103842元/平米

9 114.94平米2002年建/板楼 当代城市家园 830万 2室2厅中楼层/共11层 南 北精装 72212元/平米

10 71.6平米1991年建/塔楼 西翠路12号院 710万 3室1厅中楼层/共18层 东北简装 99162元/平米

11 132.78平米2002年建/塔楼 曙光花园 1258万 3室2厅中楼层/共17层 东南精装 94743元/平米

12 77.78平米2007年建/塔楼 安宁佳园 520万 2室1厅高楼层/共18层 西南 北其他 66855元/平米

13 93.7平米1989年建/板楼 塔院小区 850万 3室1厅中楼层/共6层 东 南 北精装 90715元/平米

14 69.2平米1992年建/板楼 八里庄北里 570万 3室1厅底层/共6层 东 西 北简装 82370元/平米

15 81.23平米2002年建/塔楼 望河园 710万 2室1厅低楼层/共17层 西南平层/简装 87406元/平米

16 150.05平米2000年建/板楼 美丽园 1550万 3室2厅低楼层/共7层 南 北精装 103299元/平米

17 115.04平米未知年建/塔楼 永泰园 690万 2室1厅中楼层/共31层 东北其他 59979元/平米

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！