python统计爬取全国地铁线路站点

最新推荐文章于 2021-11-21 21:09:06 发布

wangjie827

最新推荐文章于 2021-11-21 21:09:06 发布

阅读量711

点赞数 1

分类专栏： python 文章标签： python pycharm 机器学习

本文链接：https://blog.csdn.net/wangjie827/article/details/120154673

版权

使用Python进行网络爬取，收集全国各城市的地铁线路及站点信息，并将数据整理成JSON文件。通过代码实现数据抓取、解析及存储，为后续的分析和机器学习提供基础数据。

摘要由CSDN通过智能技术生成

结果：输出json文件，格式如下图

代码：

# coding=utf-8
import requests
from bs4 import BeautifulSoup
import json
import importlib,sys
importlib.reload(sys)
"""
目标：爬取中国大陆地铁线路信息
要求：
	①获取相关城市的地铁数量
	②获取每个地铁站的名称
	③写入文档

"""
JSON = []

province = []

class Subway(object):
    def __init__(self):
        # 构造url
        self.url = "http://map.amap.com/subway/index.html?&1100"
        # 使用老版本请求头
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
        }

    # 获取数据

    def get_data(self):
        responses = requests.get(url=self.url, headers=self.headers)
        # 返回str字符串类型
        return res