爬取城市公交站点数据的一篇保姆级教程,百度Python岗一面+二面内容

本文提供了一种爬取城市公交站点数据的详细步骤,从构造URL到解析HTML,涵盖多层访问及数据提取。适用于Python初学者,同时也涉及到百度Python面试的相关知识点。
摘要由CSDN通过智能技术生成

此时的网址变成了:https://shenzhen.8684.cn/line1,也就是在之前链接的结尾加上上面的 href 内容

再回到我们的网页上,可以看到显示的公交路线,同样分析源码,内容如下:

5a9fa76181e871eaabb07c7ade8734c3.png

处理思路如下:定位到 list clearfix 的这个div,它下面的每一个子标签(a标签)对应的都是一条公交线路,href 同样为该公交线路的链接,wbfspan 同样为名称

随便点开某一条公交线路,例如:8号线,注意看点击的时候网址栏发生的变化

此时的网址变成了:https://shenzhen.8684.cn/x_3dfcd0fb,也就是将之前的 href 内容换成了最新的 href 内容

再回到我们的网页上,这个就是我们需要爬取数据的终极目标网页:

7e296a750046e1a0ed9f0d04377d941c.png

上半部分的公交详细信息:运行时间、票价、公司、更新时间等

下半部分的公交详细站点,以及每个站点的经纬度等


ok,来整理一下总体思路:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值