利用python爬取城市公交站点

最新推荐文章于 2023-08-11 15:29:05 发布

IT孔乙己

最新推荐文章于 2023-08-11 15:29:05 发布

阅读量419

点赞数

文章标签： python 开发语言后端

本文链接：https://blog.csdn.net/pythondby/article/details/121825113

版权

本文介绍如何利用Python爬虫抓取城市公交站点，并通过BeautifulSoup解析数据，结合高德API获取经纬度。数据清洗部分，讨论了Excel Power Query（PQ）与Python pandas的使用，建议使用PQ进行数据清洗。最后，利用QGIS进行坐标纠偏，确保数据准确性。文章强调了面向对象编程和异常处理的重要性，并提到代码管理和上传到Gitee的实践。

摘要由CSDN通过智能技术生成

利用python爬取城市公交站点

页面分析

https://guiyang.8684.cn/line1

python学习资源汇总腾讯文档-在线PDFhttps://docs.qq.com/pdf/DR1doYmNBYUZ3RVNX

爬虫

我们利用requests请求，利用BeautifulSoup来解析，获取我们的站点数据。得到我们的公交站点以后，我们利用高德api来获取站点的经纬度坐标，利用pandas解析json文件。接下来开干，我推荐使用面向对象的方法来写代码。

import requests
import json
from bs4 import BeautifulSoup
import pandas as pd


class bus_stop:
 ## 定义一个类，用来获取每趟公交的站点名称和经纬度
 def __init__(self):
 self.url = 'https://guiyang.8684.cn/line{}'
 self.starnum = []
 for start_num in range(1, 17):
 self.starnum.append(start_num)
 self.payload = {}
 self.headers = {
 'Cookie': 'JSES