Python-阿里云地图的爬取(1)

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

import json

from json import JSONDecodeError

from shapely.geometry import MultiLineString

2 省级地图

2.1 爬数据

China_sheng = (gpd.read_file(‘https://geo.datav.aliyun.com/areas_v3/bound/100000_full.json’, crs=‘EPSG:4326’)

.query(“name != ‘’”) # 移除南海九段线，这个数据是polygon, 不是linestring

.reindex([‘adcode’, ‘name’, ‘geometry’], axis=1)

.explode(ignore_index=True, index_parts=False) # 拆分

.groupby(by=[‘adcode’, ‘name’])[‘geometry’] # 分组后buffer(0)以消除交叉点

.agg(lambda x: x.buffer(0).unary_union) # 再合并

.reset_index()

.set_crs(crs=‘EPSG:4326’)

)

China_sheng.head()

China_sheng.to_crs(crs=‘EPSG:2381’).plot(column=‘name’, figsize=(10, 15));

2.2 保存到文件

China_sheng.to_file(‘./ChinaMap/阿里云省级.json’)

3 市级地图

3.1 爬数据

%%time

code_sheng = (China_sheng.reindex([‘adcode’, ‘name’], axis=1)

.query(“~name.str.contains(‘台湾|香港|澳门|北京|上海|重庆|天津’)”, engine=‘python’)# 排除7个特别行政区

)

def get_shi_of_sheng(adcode):

return (gpd.read_file(‘https://geo.datav.aliyun.com/areas_v3/bound/’ + str(adcode) + ‘_full.json’,

crs=‘EPSG:4326’)

.explode(ignore_index=True, index_parts=False) # 拆分

.groupby(by=[‘adcode’, ‘name’])[‘geometry’] # 分组后buffer(0)以消除交叉点

.agg(lambda x: x.buffer(0).unary_union) # 再合并

.reset_index()

.set_crs(crs=‘EPSG:4326’)

)

China_shi = []

for code in code_sheng[‘adcode’].values:

sheng_gdf = get_shi_of_sheng(code)

sheng_gdf[‘code_sh’] = code

China_shi.append(sheng_gdf)

China_shi = (pd.concat(China_shi, ignore_index=True).set_index(‘code_sh’)

.join(code_sheng.rename({‘adcode’: ‘code_sh’, ‘name’: ‘name_sh’}, axis=1)

.set_index(‘code_sh’),

how=‘left’)

.reset_index()

.reindex([‘geometry’, ‘adcode’, ‘name’, ‘code_sh’, ‘name_sh’], axis=1)

)

China_shi = (China_sheng.reindex([‘geometry’, ‘adcode’, ‘name’], axis=1)

.query(“name.str.contains(‘台湾|香港|澳门|北京|上海|重庆|天津’)”)

.eval(“code_sh = adcode”)

.eval(“name_sh = name”)

.append(China_shi, ignore_index=True)

)

China_shi.head()

China_shi.to_crs(crs=‘EPSG:2381’).plot(column=‘name’, figsize=(10, 15));

3.2 保存到文件

China_shi.to_file(‘./ChinaMap/阿里云市级.json’)

4 县级地图

4.1 爬数据

%%time

code_shi = (China_shi[[‘adcode’, ‘name’, ‘code_sh’, ‘name_sh’]]

.query(“~name_sh.str.contains(‘台湾|香港|澳门’)”, engine=‘python’)# 排除3个特别行政区

)

def get_xian_of_shi(adcode):

try:

data_json = requests.get(‘https://geo.datav.aliyun.com/areas_v3/bound/’ + str(adcode) + ‘_full.json’).json()

except JSONDecodeError:

data_json = requests.get(‘https://geo.datav.aliyun.com/areas_v3/bound/’ + str(adcode) + ‘.json’).json()

return (gpd.GeoDataFrame.from_features(data_json, crs=‘EPSG:4326’)

.explode(ignore_index=True, index_parts=False) # 拆分

.groupby(by=[‘adcode’, ‘name’])[‘geometry’] # 分组后buffer(0)以消除交叉点

.agg(lambda x: x.buffer(0).unary_union) # 再合并

.reset_index()

.set_crs(crs=‘EPSG:4326’)

)

China_xian = []

for code in code_shi[‘adcode’].values:

shi_gdf = get_xian_of_shi(code)[[‘geometry’, ‘adcode’, ‘name’]]

shi_gdf[‘code_s’] = code

China_xian.append(shi_gdf)

China_xian = (pd.concat(China_xian, ignore_index=True)

.set_index(‘code_s’)

.join(code_shi.rename({‘adcode’: ‘code_s’, ‘name’: ‘name_s’}, axis=1)

.set_index(‘code_s’),

how=‘left’)

.reset_index()

.reindex([‘geometry’, ‘adcode’, ‘name’, ‘code_sh’, ‘name_sh’, ‘code_s’, ‘name_s’], axis=1)

)

China_xian = (China_shi.query(“name_sh.str.contains(‘台湾|香港|澳门’)”, engine=‘python’)

.eval(“code_s = adcode”)

.eval(“name_s = name”)

.append(China_xian, ignore_index=True)

)

China_xian.head()

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！