使用python爬取12306上面所有车次数据

在爬取12306之前需要做的工作就是:

1,分析请求过程

2,分析是否需要处理cookie

3,编写代码

4,测试爬取网站是否有访问次数限制

5,部署到正式服务器上

这里重点写 如何分析请求过程:

这是12306上面查询车次的界面, 出发地和 目的地 是我们需要输入的, 如果要爬取全国的所有的车次 那就需要找到全国所有的出发地到目的地的列表.

找了 很久发现在 车次查询页面 https://kyfw.12306.cn/otn/queryTrainInfo/init 有我们需要的

数据 https://kyfw.12306.cn/otn/resources/js/query/train_list.js?scriptVersion=1.0

是以js 文件的形式 加载到页面的 ,文件很大,里面包含了 未来 45天 的车次数据, 但是这里只有出发点到终点,没有 中间站到中间站,我们可以使用这些数据 到上面的 搜索框中搜索我们需要的数据.