python爬取北京租房信息

租房助手

发现官网的筛选方式不能满足自己的需求，所以爬取相关网站制作出现在的东西来

效果预览-> 在线预览

下面进行详细分析

一.首先爬取起始地和终点地的路线及沿途地铁站名称

1.爬取8684.cn的地铁查询:

pattern = 'http://bjdt.8684.cn/so.php?k=p2p&q={}&q1={}'


• q->起始位置，q1为目标位置。返回的是html页面。

  2.采用scrapy进行xpath解析，提取相关的html标签和值
  

• 如提取线路方案列表的xpath表达式

            Selector(text=body).xpath(
            "//div[@class='iContainer clear']/div[@class='iMain']/div[@class='transferMainShowWrap']/ul[