爬虫实战(爬取安居客二手房信息-成都天府新区)
环境:python3.6 pycharm bs4库
解析方式:bs4
需求:爬取二手房信息字段(titile,house_type,build_time,area,address,price,unit_price),并将爬取到的数据导出到excel表格中,当然你也可直接存到数据库。
第一步 分析url:
第一页的url如下
第二页的url:
发现url变化很简单,只需要将第几页{p?} 传递进去就可以获得相应的链接
第二步:分析源代码,并选择合适的解析方式。
由于只爬取成都地区的二手房信息,所以比较简单 ,来到这个页面后,拿到源代码:
可以看到每一页的二手房信息都展示在源代码中,并且用li标签分别写入了每一个房屋的信息,我们所需要的字段信息也都在其中。
第三步: 开始爬取
上我写的代码