网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
def get\_lonlat(keywords):
'''
获取经纬度
'''
cookies = {
'cna': '2voBF5IOjUUCAXWIWXVuwr8W',
'UM\_distinctid': '1767bba477b6bd-00c663bca533b3-1a347740-e1000-1767bba477c515',
'isg': 'BGhoxgK9o-s-8I9R8e9xGWcsOlZ6kcybbxhnvCKZpePsfQjn1qD8K\_v0cZWN1oRz',
'l': 'eBOY0AmuO96VEuAdBOfalurza779\_IOYYuPzaNbMiOCP\_CCp5q8cWZ-AMOL9Cn1Vh6UXc37LhhQJBeYBqMIKnxvOKVLdi6Mmn',
'tfstk': 'cFtVBg4K3mnq\_Csdmisa5HrbndsAZ8QG8uWOoFwkl8RrRN\_li2NOE50PU9UjqZf..',
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0',
'Accept': '\*/\*',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Referer': 'https://lbs.amap.com/console/show/picker',
'Connection': 'keep-alive',
}
params = (
('s', 'rsv3'),
('children', ''),
('key', 'e07ffdf58c8e8672037bef0d6cae7d4a'),
('page', '1'),
('offset', '10'),
('city', '110000'),
('language', 'zh\_cn'),
('callback', 'jsonp\_160108\_'),
('platform', 'JS'),
('logversion', '2.0'),
('sdkversion', '1.3'),
('appname', 'https://lbs.amap.com/console/show/picker'),
('csid', '6DCF386C-8777-4724-AE49-8E688CCEF75A'),
('keywords', keywords),
)
res = requests.get('https://restapi.amap.com/v3/place/text', headers=headers, params=params, cookies=cookies)
html = res.text
data = re.findall('\((.\*)\)',html)[0]
data = json.loads(data)
location = data['pois'][0]['location']
lon = float(location.split(',')[0])
lat = float(location.split(',')[1])
return (lon, lat)
3.完整代码
从每个省级行政区中选出一个城市(即省会),创建一个txt用于将其存储:
完整的数据爬取代码如下:
# -\*- coding: utf-8 -\*-
"""
Created on Sun Feb 14 11:54:59 2021
@author: kimol\_love
"""
import os
import re
import json
import requests
import pandas as pd
def get\_info(keyword, pos, page=0):
'''
获取外卖商品信息
'''
url = 'https://wx-shangou.meituan.com/mtweapp/v2/search/v9/poiwithfilter?ui=xxx' # xxx处需要相应改
headers = {'Connection': 'keep-alive',
'Content-Length': '1191',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36 MicroMessenger/7.0.9.501 NetType/WIFI MiniProgramEnv/Windows WindowsWechat',
'\_deferreds': '[object Array]',
'content-type': 'application/x-www-form-urlencoded',
'uuid': 'xxx',
'wm-ctype': 'mt\_weapp',
'Accept-Encoding': 'gzip, deflate, br'}
data = {'wm\_dtype': 'microsoft',
'wm\_dversion': '7.0.9',
'wm\_uuid': 'xxx',
'wm\_visitid': 'xxx',
'wm\_appversion': '5.13.26',
'wm\_logintoken': 'xxx',
'userToken': 'xxx',
'req\_time': 1613274108532,
'waimai\_sign': '%2F',
'wm\_longitude': int(pos[0]\*10\*\*6),
'wm\_latitude': int(pos[1]\*10\*\*6),
'wm\_actual\_longitude': 0,
'wm\_actual\_latitude': 0,
'userid': 'xxx',
'user\_id': 'xxx',
'uniqueid': 'xxx',
'open\_id': 'xxx',
'openidcipher': 'xxx',
'uuid': 'xxx',
'rc\_platform': 13,
'platform': 13,
'rc\_app': 0,
'partner': 214,
'riskLevel': 71,
'keyword': keyword,
'page\_index': page,
'category\_type': 101578,
'entrance\_id': 101578,
'sort\_type': 0,
'search\_global\_id': 'xxx',
'wm\_ctype': 'mt\_weapp'}
res = requests.post(url, headers=headers, data=data)
res_json = res.json()
return res_json
def parse\_info(data):
'''
提取所需数据
'''
result = [] # 用于保存结果
for poi in data['data']['search\_poi\_list']:
name = poi['name'] # 商店名称
sales = int(poi['month\_sales\_tip'][2:]) # 月销量
address = poi['address'] # 地址
lon = int(poi['longitude'])/10\*\*6 # 经度
lat = int(poi['latitude'])/10\*\*6 # 纬度
result.append({'商店名': name,
'月销量': sales,
'地址': address,
'经度': lon,
'纬度': lat})
return result
def get\_lonlat(keywords):
'''
获取经纬度
'''
cookies = {
'cna': '2voBF5IOjUUCAXWIWXVuwr8W',
'UM\_distinctid': '1767bba477b6bd-00c663bca533b3-1a347740-e1000-1767bba477c515',
'isg': 'BGhoxgK9o-s-8I9R8e9xGWcsOlZ6kcybbxhnvCKZpePsfQjn1qD8K\_v0cZWN1oRz',
'l': 'eBOY0AmuO96VEuAdBOfalurza779\_IOYYuPzaNbMiOCP\_CCp5q8cWZ-AMOL9Cn1Vh6UXc37LhhQJBeYBqMIKnxvOKVLdi6Mmn',
'tfstk': 'cFtVBg4K3mnq\_Csdmisa5HrbndsAZ8QG8uWOoFwkl8RrRN\_li2NOE50PU9UjqZf..',
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0',
'Accept': '\*/\*',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Referer': 'https://lbs.amap.com/console/show/picker',
'Connection': 'keep-alive',
}
params = (
('s', 'rsv3'),
('children', ''),
('key', 'e07ffdf58c8e8672037bef0d6cae7d4a'),
('page', '1'),
('offset', '10'),
('city', '110000'),
('language', 'zh\_cn'),
('callback', 'jsonp\_160108\_'),
('platform', 'JS'),
('logversion', '2.0'),
('sdkversion', '1.3'),
('appname', 'https://lbs.amap.com/console/show/picker'),
('csid', '6DCF386C-8777-4724-AE49-8E688CCEF75A'),
('keywords', keywords),
)
res = requests.get('https://restapi.amap.com/v3/place/text', headers=headers, params=params, cookies=cookies)
html = res.text
data = re.findall('\((.\*)\)',html)[0]
data = json.loads(data)
location = data['pois'][0]['location']
lon = float(location.split(',')[0])
lat = float(location.split(',')[1])
return (lon, lat)
if __name__ == '\_\_main\_\_':
# 读取城市列表
with open('citys.txt', 'r') as f:
citys = f.readlines()
citys = [c.strip() for c in citys]
# 创建保存结果的目录
savePath = './data'
if not os.path.exists(savePath):
os.mkdir(savePath)
# 循环爬取数据
for city in citys:
pos = get_lonlat(city)
result = [] # 用于保存结果
for page in range(5): # 爬取5页(共100条数据)
data = get_info('鲜花', pos, page)
data = parse_info(data)
result.extend(data)
print('"%s"第%d页爬取完成!'%(city, page+1))
result = pd.DataFrame(result)
result.to_csv('%s/%s.csv'%(savePath, city), index=False)
最后,我们得到了每个城市对应的玫瑰花月销量数据:
其中,每个表格的数据格式如下:
三、热力分析
有了城市玫瑰花月销量的数据之后,我们便可对其热度进行分析。这里采用了一种较简单的方式,即计算每个城市月销量的平均值,随后用pyecharts库将其以热力图的方式展示出来。代码如下:
# -\*- coding: utf-8 -\*-
"""
Created on Sun Feb 14 15:25:19 2021
@author: kimol\_love
"""
import os
import pandas as pd
from pyecharts.charts import Geo
from pyecharts import options as opts
if __name__ == '\_\_main\_\_':
# 计算平均月销量
savePath = './data'
sales = [] # 平均月销量
for file in os.listdir(savePath):
city = file.split('.')[0] # 城市
data = pd.read_csv('%s/%s'%(savePath, file))
sale = round(data['月销量'].mean(), 2) # 平均月销量
sales.append((city, sale))
max_sale = max([s[1] for s in sales]) # 最高销量
min_sale = max([s[1] for s in sales]) # 最低销量
# 绘制散点分布图
geo = Geo(init_opts=opts.InitOpts(page_title='鲜花平均销量'))
geo.add_schema(maptype='china', is_roam=False, selected_mode=True, label_opts=opts.LabelOpts(is_show=True), itemstyle_opts=opts.ItemStyleOpts(color='#FFD5CF', border_color='#111'))
geo.add('', sales, type_ = 'heatmap') # 设置地图类型及数据
geo.set_series_opts(label_opts = opts.LabelOpts(is_show = False)) #设置是否显示标签
geo.set_global_opts(title_opts = opts.TitleOpts(title='各城市鲜花平均销量', subtitle='❤️情人节快乐❤️', pos_left='center',
title_textstyle_opts=opts.TextStyleOpts(font_size=23),
subtitle_textstyle_opts=opts.TextStyleOpts(font_size=15,font_weight='bold',color='#71CFEB')),
visualmap_opts = opts.VisualMapOpts(max_=max_sale+10))
# 保存结果
geo.render(path='月销量(热力).html')
代码轻轻一跑,便有了上文的热力图。打完,收工~
四、写在最后
本次分析数据有限,所以结论可能稍显片面,仅作为娱乐参考,如有不足还请大家多多包涵。如果有感兴趣的小伙伴,也可以尝试着从更多的维度、更细的角度进行分析哦。
最后,再次祝大家伙春节及情人节双倍快乐呀🎈~
愿大家都能在奔波凡尘中找到属于自己的栖息之地;
愿大家都能在灿烂烟火中找到属于自己的美丽风景。
一点点题外话:
如果有对Python爬虫感兴趣的小伙伴,又苦于不知从何下手,不如考虑看看下面这个课程👇👇👇(从基础到应用一条龙,妈妈学了都说好😉):
Ps.课程虽好,但爬虫终究还是一个实践工程,大家还是要动起手来哦~
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
hK-1715642150791)]
[外链图片转存中…(img-PYSZxpOl-1715642150791)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!