用Python爬虫对城市公交、地铁站点和线路数据采集_交通数据采集代码(1)

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

市公交、地铁数据反映了城市的公共交通，研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是，这类数据往往掌握在特定部门中，很难获取。互联网地图上有大量的信息，包含公交、地铁等数据，解析其数据反馈方式，可以通过Python爬虫采集。闲言少叙，接下来将详细介绍如何使用Python爬虫爬取城市公交、地铁站点和数据。

首先，爬取研究城市的所有公交和地铁线路名称，即XX路，地铁X号线。可以通过图吧公交、公交网、8684、本地宝等网站获取，该类网站提供了按数字和字母划分类别的公交线路名称。Python写个简单的爬虫就能采集，可参看WenWu_Both的文章，博主详细介绍了如何利用python爬取8684上某城市所有的公交站点数据。该博主采集了站点详细的信息，包括，但是缺少了公交站点的坐标、公交线路坐标数据。这就让人抓狂了，没有空间坐标怎么落图，怎么分析，所以，本文重点介绍的是站点坐标、线路的获取。

以图吧公交为例，点击某一公交后，出现该路公交的详细站点信息和地图信息。博主顿感兴奋，觉得马上就要成功了，各种抓包，发现并不能解析。可能博主技术所限，如有大神能从中抓到站点和线路的坐标信息，请不吝赐教。这TM就让人绝望了啊，到嘴的肥肉吃不了。

天无绝人之路，尝试找找某地图的API，发现可以调用，通过解析，能够找到该数据的后台地址。熟悉前端的可以试试，博主前端也就只会个hello world，不献丑了。这是一种思路，实践证明是可以的。

地图API可以，那么通过地图抓包呢？打开某图主页，直接输入某市公交名称，通过抓包，成功找到站点和线路信息。具体抓包信息如下图所示，busline_list中详细列出了站点和线路的信息，其中有两条，是同一趟公交不同方向的数据，略有差别，需注意。找到入口过后，接下来爬虫就要大显身手了。

主要爬取代码如下，其实也很简单，主函数如下。首先需要构建传入的参数，主要的包括路线名称，城市编码，地理范围，缩放尺度。地理范围可以通过坐标拾取器获取，参数经url编码后，发送请求，判断返回数据是否符合要求（注：可能该线路地图上停运或不存在，也可能是访问速度过快，反爬虫机制需要人工验证，博主爬取的时候碰到过，所以后面设置了随机休眠）。接下来，就是解析json数据了。代码中的extratStations和extractLine，就是提取需要的字段，怎么样，是不是很简单。最后，就是保存了，站点和路线分别存储。

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

😕/bbs.csdn.net/topics/618317507)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！