【爬虫】Python爬虫实战，Python实现中国地铁数据可视化arcmap

 临近过年，无心上班，只好摸鱼，偶然看见，这篇文章，觉得有趣，便来写一写

Python爬虫实战，pyecharts模块，Python实现中国地铁数据可视化_Python_xiaowu的博客-CSDN博客前言利用Python实现中国地铁数据可视化。废话不多说。让我们愉快地开始吧~开发工具Python 版本：3.6.4相关模块：requests模块;wordcloud模块;熊猫模块;numpy模块;杰巴模块;pyecharts模块;matplotlib模块;以及一些Python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。本次通过对地铁线路数据的获取，对城市分布情况数据进行可视化分析。分析获取地铁信息https://blog.csdn.net/Python_xiaowu/article/details/122563644?utm_medium=distribute.pc_feed_v2.none-task-blog-hot-11.pc_personrecdepth_1-utm_source=distribute.pc_feed_v2.none-task-blog-hot-11.pc_personrec

目录

 代码

---

 先把结果贴上来，分析的后来再讲

、

 不知道为啥某高地铁和我输出出来的地铁不太像，可能是因为上海地铁自带一些创作在里面

 代码

# -*- coding: utf-8 -*-

from email import message
import requests as r
import random
import chardet   #需要导入这个模块，检测编码格式
import time
import re
import 坐标转换
import csv

user_agent_list = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6"
]
UserAgent = random.choice(user_agent_list)
headers = {'user-agent': UserAgent}

cityUrl = 'http://map.amap.com/subway/index.html?&1100'

pattern_select = re.compile('.*?<a class="city select".*?id="(.*?)" cityname="(.*?)"', re.S)  # 正则表达式提取图片地址
pattern = re.compile('<a class="city".*?id="(.*?)" cityname="(.*?)"', re.S)  # 正则表达式提取图片地址
pattern_other = re.compile('.*?<a class="other-city".*?id="(.*?)" cityname="(.*?)".*?', re.S)  # 正则表达式提取图片地址
cityDict =[]

def getCityName(url):
    html = r.get(url,headers=headers).content

    encode_type = chardet.detect(html)
    html = html.decode(encode_type['encoding'])  # 进行相应解码，赋给原标识符（变量）

    dist = re.findall(pattern_select,html)
    cityDict.extend(dist)
    dist = re.findall(pattern,html)
    cityDict.extend(dist)
    dist = re.findall(pattern_other,html)
    cityDict.extend(dist)
    return cityDict

    
def getStations():
    cityDict = getCityName(cityUrl)
    for item in cityDict:
        id = item[0]
        cityname = item[1]
        stationUrl = 'http://map.amap.com/service/subway?srhdata='+id+'_drw_'+cityname+'.json'
        # http://map.amap.com/service/subway?srhdata=3100_drw_shanghai.json
        _json = r.get(stationUrl,headers=headers).json()
        info = {'city':'','line':'','station':'','longitude':'','latitude':''}
        info['city'] = _json['s']
        for l in _json['l']:
            info['line'] = l['kn']
            for st in l['st']:
                info['station'] = st['n']
                # latitude and longitude
                longitude , latitude =st['sl'].split(',')
                info['longitude'] , info['latitude'] = 坐标转换.gcj02_to_wgs84(float(longitude), float(latitude))
                print(info.values())
                fp.writerow(info.values()),'x'
                time.sleep(random.uniform(0,0.05))

if __name__ == '__main__':
    header = ['城市','线路','站名','经度','维度']
    f =  open('城市地铁.csv', 'a+',newline='')
    fp = csv.DictWriter(f, header)
    fp.writeheader()
    fp = csv.writer(f)
    getStations()

 坐标转换.py文件

# -*- coding: utf-8 -*-
import json
import urllib
import math
# import numpy as np

x_pi = 3.14159265358979324 * 3000.0 / 180.0
pi = 3.1415926535897932384626  # π
a = 6378245.0  # 长半轴
ee = 0.00669342162296594323  # 偏心率平方


'''
输入（经度，维度）
'''
def bd09_to_gcj02(bd_lon, bd_lat):
    """
    百度坐标系(BD-09)转火星坐标系(GCJ-02)
    百度——>谷歌、高德
    :param bd_lat:百度坐标纬度
    :param bd_lon:百度坐标经度
    :return:转换后的坐标列表形式
    """
    x = bd_lon - 0.0065
    y = bd_lat - 0.006
    z = math.sqrt(x * x + y * y) - 0.00002 * math.sin(y * x_pi)
    theta = math.atan2(y, x) - 0.000003 * math.cos(x * x_pi)
    gg_lng = z * math.cos(theta)
    gg_lat = z * math.sin(theta)
    return [gg_lng, gg_lat]

def gcj02_to_wgs84(lng, lat):
    """
    GCJ02(火星坐标系)转wgs84
    :param lng:火星坐标系的经度
    :param lat:火星坐标系纬度
    :return:
    """
    if out_of_china(lng, lat):
        return [lng, lat]
    dlat = _transformlat(lng - 105.0, lat - 35.0)
    dlng = _transformlng(lng - 105.0, lat - 35.0)
    radlat = lat / 180.0 * pi
    magic = math.sin(radlat)
    magic = 1 - ee * magic * magic
    sqrtmagic = math.sqrt(magic)
    dlat = (dlat * 180.0) / ((a * (1 - ee)) / (magic * sqrtmagic) * pi)
    dlng = (dlng * 180.0) / (a / sqrtmagic * math.cos(radlat) * pi)
    mglat = lat + dlat
    mglng = lng + dlng
    return [lng * 2 - mglng, lat * 2 - mglat]

def bd09_to_wgs84(bd_lon, bd_lat):
    lon, lat = bd09_to_gcj02(bd_lon, bd_lat)
    return gcj02_to_wgs84(lon, lat)

def bd09_to_wgs84(bd_lon, bd_lat):
    lon, lat = bd09_to_gcj02(bd_lon, bd_lat)
    return gcj02_to_wgs84(lon, lat)

def gcj02_to_bd09(lng, lat):
    """
    火星坐标系(GCJ-02)转百度坐标系(BD-09)
    谷歌、高德——>百度
    :param lng:火星坐标经度
    :param lat:火星坐标纬度
    :return:
    """
    z = math.sqrt(lng * lng + lat * lat) + 0.00002 * math.sin(lat * x_pi)
    theta = math.atan2(lat, lng) + 0.000003 * math.cos(lng * x_pi)
    bd_lng = z * math.cos(theta) + 0.0065
    bd_lat = z * math.sin(theta) + 0.006
    return [bd_lng, bd_lat]

def wgs84_to_gcj02(lng, lat):
    """
    WGS84转GCJ02(火星坐标系)
    :param lng:WGS84坐标系的经度
    :param lat:WGS84坐标系的纬度
    :return:
    """
    if out_of_china(lng, lat):  # 判断是否在国内
        return [lng, lat]
    dlat = _transformlat(lng - 105.0, lat - 35.0)
    dlng = _transformlng(lng - 105.0, lat - 35.0)
    radlat = lat / 180.0 * pi
    magic = math.sin(radlat)
    magic = 1 - ee * magic * magic
    sqrtmagic = math.sqrt(magic)
    dlat = (dlat * 180.0) / ((a * (1 - ee)) / (magic * sqrtmagic) * pi)
    dlng = (dlng * 180.0) / (a / sqrtmagic * math.cos(radlat) * pi)
    mglat = lat + dlat
    mglng = lng + dlng
    return [mglng, mglat]

def wgs84_to_bd09(lon, lat):
    lon, lat = wgs84_to_gcj02(lon, lat)
    return gcj02_to_bd09(lon, lat)

def out_of_china(lng, lat):
    """
    判断是否在国内，不在国内不做偏移
    :param lng:
    :param lat:
    :return:
    """
    return not (lng > 73.66 and lng < 135.05 and lat > 3.86 and lat < 53.55)

def _transformlng(lng, lat):
    ret = 300.0 + lng + 2.0 * lat + 0.1 * lng * lng + \
          0.1 * lng * lat + 0.1 * math.sqrt(math.fabs(lng))
    ret += (20.0 * math.sin(6.0 * lng * pi) + 20.0 *
            math.sin(2.0 * lng * pi)) * 2.0 / 3.0
    ret += (20.0 * math.sin(lng * pi) + 40.0 *
            math.sin(lng / 3.0 * pi)) * 2.0 / 3.0
    ret += (150.0 * math.sin(lng / 12.0 * pi) + 300.0 *
            math.sin(lng / 30.0 * pi)) * 2.0 / 3.0
    return ret
    
def _transformlat(lng, lat):
    ret = -100.0 + 2.0 * lng + 3.0 * lat + 0.2 * lat * lat + \
          0.1 * lng * lat + 0.2 * math.sqrt(math.fabs(lng))
    ret += (20.0 * math.sin(6.0 * lng * pi) + 20.0 *
            math.sin(2.0 * lng * pi)) * 2.0 / 3.0
    ret += (20.0 * math.sin(lat * pi) + 40.0 *
            math.sin(lat / 3.0 * pi)) * 2.0 / 3.0
    ret += (160.0 * math.sin(lat / 12.0 * pi) + 320 *
            math.sin(lat * pi / 30.0)) * 2.0 / 3.0
    return ret