Python-阿里云地图的爬取

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

from IPython.core.interactiveshell import InteractiveShell

InteractiveShell.ast_node_interactivity = “all” # 代码块显示所有执行结果

引言

---

这里通过循环爬取阿里云省级地图，并处理交叉点，再通过对行政区域代码递归，爬取市级地图，县级地图。最后爬取民政部南海九段线数据。每 次爬去后都保存json格式文件。对于4个直辖市这种，省级和市级都是相同的名字和行政区域代码。对于港澳台这种，省级、市级、县级的名称和行政区 域代码都相同。这样便于筛选和绘图。

1 需要的包

import geopandas as gpd

import pandas as pd

import numpy as np

import requests

import matplotlib.pyplot as plt

import os

import json

from json import JSONDecodeError

from shapely.geometry import MultiLineString

2 省级地图

2.1 爬数据

China_sheng = (gpd.read_file(‘https://geo.datav.aliyun.com/areas_v3/bound/100000_full.json’, crs=‘EPSG:4326’)

.query(“name != ‘’”) # 移除南海九段线，这个数据是polygon, 不是linestring

.reindex([‘adcode’, ‘name’, ‘geometry’], axis=1)

.explode(ignore_index=True, index_parts=False) # 拆分

.groupby(by=[‘adcode’, ‘name’])[‘geometry’] # 分组后buffer(0)以消除交叉点

.agg(lambda x: x.buffer(0).unary_union) # 再合并

.reset_index()

.set_crs(crs=‘EPSG:4326’)

)

China_sheng.head()

China_sheng.to_crs(crs=‘EPSG:2381’).plot(column=‘name’, figsize=(10, 15));

2.2 保存到文件

China_sheng.to_file(‘./ChinaMap/阿里云省级.json’)

3 市级地图

3.1 爬数据

%%time

code_sheng = (China_sheng.reindex([‘adcode’, ‘name’], axis=1)

.query(“~name.str.contains(‘台湾|香港|澳门|北京|上海|重庆|天津’)”, engine=‘python’)# 排除7个特别行政区

)

def get_shi_of_sheng(adcode):

return (gpd.read_file(‘https://geo.datav.aliyun.com/areas_v3/bound/’ + str(adcode) + ‘_full.json’,

crs=‘EPSG:4326’)

.explode(ignore_index=True, index_parts=False) # 拆分

.groupby(by=[‘adcode’, ‘name’])[‘geometry’] # 分组后buffer(0)以消除交叉点

.agg(lambda x: x.buffer(0).unary_union) # 再合并

.reset_index()

.set_crs(crs=‘EPSG:4326’)

)

China_shi = []

for code in code_sheng[‘adcode’].values:

sheng_gdf = get_shi_of_sheng(code)

sheng_gdf[‘code_sh’] = code

China_shi.append(sheng_gdf)

China_shi = (pd.concat(China_shi, ignore_index=True).set_index(‘code_sh’)

.join(code_sheng.rename({‘adcode’: ‘code_sh’, ‘name’: ‘name_sh’}, axis=1)

.set_index(‘code_sh’),

how=‘left’)

.reset_index()

.reindex([‘geometry’, ‘adcode’, ‘name’, ‘code_sh’, ‘name_sh’], axis=1)

)

China_shi = (China_sheng.reindex([‘geometry’, ‘adcode’, ‘name’], axis=1)

.query(“name.str.contains(‘台湾|香港|澳门|北京|上海|重庆|天津’)”)

.eval(“code_sh = adcode”)

.eval(“name_sh = name”)

.append(China_shi, ignore_index=True)

)

China_shi.head()

China_shi.to_crs(crs=‘EPSG:2381’).plot(column=‘name’, figsize=(10, 15));

3.2 保存到文件

China_shi.to_file(‘./ChinaMap/阿里云市级.json’)

4 县级地图

4.1 爬数据

%%time

code_shi = (China_shi[[‘adcode’, ‘name’, ‘code_sh’, ‘name_sh’]]

.query(“~name_sh.str.contains(‘台湾|香港|澳门’)”, engine=‘python’)# 排除3个特别行政区

)

def get_xian_of_shi(adcode):

try:

data_json = requests.get(‘https://geo.datav.aliyun.com/areas_v3/bound/’ + str(adcode) + ‘_full.json’).json()

except JSONDecodeError:

data_json = requests.get(‘https://geo.datav.aliyun.com/areas_v3/bound/’ + str(adcode) + ‘.json’).json()

return (gpd.GeoDataFrame.from_features(data_json, crs=‘EPSG:4326’)

.explode(ignore_index=True, index_parts=False) # 拆分

.groupby(by=[‘adcode’, ‘name’])[‘geometry’] # 分组后buffer(0)以消除交叉点

.agg(lambda x: x.buffer(0).unary_union) # 再合并

.reset_index()

.set_crs(crs=‘EPSG:4326’)

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！