Python爬虫之九：用正则表达式爬取赶集网租房信息

一、项目分析

1、查询主页和详情页面的关系

得出数据关系：每一个 class 属性为 f-list-item ershoufang-list 的 div 包含着整个需要爬取数据的信息，且查询 ershoufang-list 为 42 个，说明这个属性没有重复，与一个页面42个房源信息对应。

2、需要爬取的数据的正则特征

1、房源信息

结论：需要查找的房源信息在 class 属性值为 js-title value title-font 的 a 标签中，因此正则表达式为：

<div.+?g-list".+?<a.+?js-title.+?>(.+?)</a>  # (.+?)为提取数据

2、房源户型

结论：需要查找的房源户型在 class 属性值为 dd-item size 的 dd 标签下的第一个 span 中，因此正则表达式为：

#接着上面的正则往后写
.+?<dd.+?dd-item.+?<span>(.+?)</span>

3、房源面积

结论：需要查找的房源面积在房源户型后没有 class 属性值的 span 标签中，因此正则表达式为：

#接着上面的正则往后写
.+?<span>(.+?)</span>

4、房源走向

结论：需要查找的房源走向在房源面积后没有 class 属性值的 span 标签中，因此正则表达式为：

#接着上面的正则往后写