需求:
看到网上有卖全国省市区的信息,一份需要50RMB+,看到了高德有获取一些地区信息的接口,所以设计一个程序来抓取然后保存到MySQL中;
附上高德地图开发文档:https://lbs.amap.com/api/webservice/guide/api/district
初步设计图:
爬取思路:
china乡镇结构图:
country:国家
province:省份(直辖市会在province和city显示)
city:市(直辖市会在province和city显示)
district:区县
street:街道
需要爬取的数据结构呈树状,而且每层的数据结构相同
需求:
1:获取所有的省份相关信息,并保存到数据库
2:要保存上一级城市的id(adcode)()
3:由于普通版key,每天的调用量只有2k,但是可以通过配置获取几级列表
实现:采用广度优先遍历算法
开源地址:
java版本
https://github.com/tangbaoabo/crawlerDistricts
Golang版本
https://github.com/tangbaoabo/amapcity
如果帮到你了请给我一个star