记:本项目是在实验楼上看到的,但是上面的代码由于没有及时维护,爬虫文件的代码不再能完整的把所有房源信息爬取下来,我根据最新的58同城官网进行了研究,现在的官网的房源信息已经不是分页的了,而是拉到最后自动进行加载,所以一些地方的代码也需要做一些修改。其次是爬取出来的文件在偶数行是空行的问题也得到了解决,在打开文件的时候添加一个参数即可。目前未解决的问题时字体加密问题,于是我删掉了money参数,仅供参考,后期有时间再研究字体加密怎么解决。希望得到大佬的在线指教。。。
1、摘要:
利用一些开放平台的API可以很方便的进行编程,早在考研时期就面临找房困难、房源信息混乱以及不清楚房源周边的交通情况。近期在跟廖雪峰老师学习python的过程中看到有类似的项目,在学习了该项目之后,也想把郑州的房源根据价格区间爬取出房源信息存储到csv文件中,然后利用高德地图的API接口进行位置上的标识和交通路线的规划。
2、最终的结果图:
3、实现流程图:
本项目主要有三个文件,分别是:crawl.py、rent2.csv、index.html。其中用到的几个API文档为:高德地图JavaScript API帮助文档和示例中心、Requests:Http for Humans、Beautiful Soup 4.2.0文档。