地图数据采集的使用:
1、选择了地区:选择地区如果只选择省份,那么则采集该省下的所有县级关键词数据;同理,如果地区选择到“市级”,则采集该市下的所有县级数据。
2、关键词设置:如果设置的区域的大范围的,关键词尽可能不要设置过多。关键词如:酒店、装修公司等
3、数据保存:默认保存到程序下的‘data’文件夹中;可自行设定保存位置。
链接:https://pan.baidu.com/s/1jjAWknqAygmHfsJGj3R38Q
提取码:c6w0
代码部分
from urllib.parse import urlencode
import urllib.request
import json
class Amap:
"""高德地图api数据请求
get_district()返回行政区域数据
search_city_keyworsa()指定城市关键词搜索
"""
"""版本"""
v = '0.0.1'
"""请求服务的密匙"""
__key = ''
"""api请求目录信息配置
可通过对属性的数据操作来重新定义配置信息
"""
path_conf = {
'HOST':'',
#行政区域查询目录
'DISTRICT':'',
# 关键字搜索
'SEARCH':''
}
def __init__(self, key):
self.__key = key
def get_url(self,path_key,data={}):
"""返回请求的URL
:param path_key:请求的目录配置的key(键)
:param data:get请求时的数据;如果为空 则不添加数据
"""
url = self.path_conf['HOST']+self.path_conf[path_key]+'?key='+self.__key
if len(data)>0:
url += '&'+urlencode(data)
return url
def get_district(self,keywords='',subdistrict=0):
"""搜索行政区下的子区域信息
:param keywords: 行政区名;如果name为空字符串,则返回一级(省级)行政区信息
:param subdistrict: 是否返回子级行政区;默认0,0:不返回下级行政区;1:返回下一级行政区;2:返回下两级行政区;3:返回下三级行政区
"""
url = self.get_url('DISTRICT',{'keywords':keywords,'subdistrict':subdistrict})
res = urllib.request.urlopen(url)
res_code = res.getcode()
if res_code!=200:
return {'code':1,'msg':'请求服务异常,code:'+res.getcode(),'data':[]}
d = json.loads(res.read())
if d['status']=='1':
code = 0
msg = d['info']
else:
code = 1
msg = d['info']
return {'code':code,'msg':msg,'data':{'datas':d['districts']}}
def get_province(self):
"""返回中国省级名称信息
return-code=0说明data有数据
return-data:data['province_names']携带的是纯省份名称
"""
url = self.get_url('DISTRICT')
res = urllib.request.urlopen(url)
res_code = res.getcode()
if res_code!=200:
return {'code':1,'msg':'请求服务异常,code:'+res.getcode(),'data':[]}
d = json.loads(res.read())
province_names = []
if d['status']=='1':
f_d = d['districts'][0]['districts']
for i in range(len(f_d)):
province_names.append(f_d[i]['name'])
code = 0
msg = d['info']
else:
code = 1
msg = d['info']
return {'code':code,'msg':msg,'data':{'province_names':province_names}}
def get_county(self,name,level=1):
"""获取县级地区名称:
:param name: 省级或地区级名(需全称或者国标编码)
:param level: name参数所属等级(1-省级,2-地区级)
"""
if level==1:
num=2
elif level==2:
num = 1
else:
return {'code':1,'msg':'区域级别只能是1或2','data':{'county_names':[]}}
dat = self.get_district(name,num)
county=[]
if dat['code']==0:
code = 0
msg = 'OK'
d = dat['data']['datas'][0]['districts']
# print(d)
if level==1:
# print(level)
for i in range(len(d)):
if len(d[i]['districts'])>0:
xd = d[i]['districts']
for j in range(len(xd)):
county.append(xd[j]['name'])
if level==2:
# print(level)
for i in range(len(d)):
county.append(d[i]['name'])
else:
code = 1
msg = '暂无数据'
return {'code':code,'msg':msg,'data':{'county_names':county}}
def search_city_keyworsa(self,city,keywords,page=1,limit=20):
"""搜索指定城市下的关键词
:param city: 被搜索的城市或地区名(需要全称或国标地区编码)
:param keywords: 搜索的关键词
:param page: 当前页数
:param limit: 每页限制数
"""
url = self.get_url('SEARCH',{'city':city,'keywords':keywords,'page':page,'offset':limit,'citylimit':'true'})
# print('url:',url)#debug
res = urllib.request.urlopen(url)
res_code = res.getcode()
if res_code!=200:
return {'code':1,'msg':'请求服务异常:'+res_code,'data':{}}
d = json.loads(res.read())
if d['status']=='1':
code = 0
msg = d['info']
count = d['count']
pois = d['pois']
data = []
for p_i in range(len(pois)):
address = ''
adname = ''
cityname = ''
pname = ''
tel = ''
name = ''
if 'address' in pois[p_i]==True:
address = str(pois[p_i]['address'])
if 'adname' in pois[p_i]==True:
adname = str(pois[p_i]['adname'])
if 'cityname' in pois[p_i]==True:
cityname = str(pois[p_i]['cityname'])
if 'pname' in pois[p_i]==True:
pname = str(pois[p_i]['pname'])
if 'tel' in pois[p_i]==True:
tel = str(pois[p_i]['tel'])
if 'name' in pois[p_i]==True:
name = str(pois[p_i]['name'])
data.append({
'name':name,
'pname':pname,#省
'cityname':cityname,#市
'adname':adname,#县
'address':address,#地址
'tel':tel#电话
})
else:
code = 1
msg = d['info']
count = 0
data =[]
return {
'code':code,
'msg':msg,
'data':{
'count':count,
'data':data
}
}