此时的网址变成了:https://shenzhen.8684.cn/line1,也就是在之前链接的结尾加上上面的 href 内容
再回到我们的网页上,可以看到显示的公交路线,同样分析源码,内容如下:
处理思路如下:定位到 list clearfix 的这个div,它下面的每一个子标签(a标签)对应的都是一条公交线路,href 同样为该公交线路的链接,wbfspan 同样为名称
随便点开某一条公交线路,例如:8号线,注意看点击的时候网址栏发生的变化
此时的网址变成了:https://shenzhen.8684.cn/x_3dfcd0fb,也就是将之前的 href 内容换成了最新的 href 内容
再回到我们的网页上,这个就是我们需要爬取数据的终极目标网页:
上半部分的公交详细信息:运行时间、票价、公司、更新时间等
下半部分的公交详细站点,以及每个站点的经纬度等
ok,来整理一下总体思路: