2024年Go最新【情人节特别篇】想知道玫瑰在哪些城市最畅销嘛？，2024年最新字节跳动技术总监自爆

于 2024-05-14 07:16:14 发布
阅读量481 收藏 5
点赞数 21
分类专栏： 程序员 文章标签： go 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84905102/article/details/138834213
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

def get\_lonlat(keywords):
    '''
 获取经纬度
 '''
    cookies = {
        'cna': '2voBF5IOjUUCAXWIWXVuwr8W',
        'UM\_distinctid': '1767bba477b6bd-00c663bca533b3-1a347740-e1000-1767bba477c515',
        'isg': 'BGhoxgK9o-s-8I9R8e9xGWcsOlZ6kcybbxhnvCKZpePsfQjn1qD8K\_v0cZWN1oRz',
        'l': 'eBOY0AmuO96VEuAdBOfalurza779\_IOYYuPzaNbMiOCP\_CCp5q8cWZ-AMOL9Cn1Vh6UXc37LhhQJBeYBqMIKnxvOKVLdi6Mmn',
        'tfstk': 'cFtVBg4K3mnq\_Csdmisa5HrbndsAZ8QG8uWOoFwkl8RrRN\_li2NOE50PU9UjqZf..',
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0',
        'Accept': '\*/\*',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Referer': 'https://lbs.amap.com/console/show/picker',
        'Connection': 'keep-alive',
    }
    params = (
        ('s', 'rsv3'),
        ('children', ''),
        ('key', 'e07ffdf58c8e8672037bef0d6cae7d4a'),
        ('page', '1'),
        ('offset', '10'),
        ('city', '110000'),
        ('language', 'zh\_cn'),
        ('callback', 'jsonp\_160108\_'),
        ('platform', 'JS'),
        ('logversion', '2.0'),
        ('sdkversion', '1.3'),
        ('appname', 'https://lbs.amap.com/console/show/picker'),
        ('csid', '6DCF386C-8777-4724-AE49-8E688CCEF75A'),
        ('keywords', keywords),
    )
    res = requests.get('https://restapi.amap.com/v3/place/text', headers=headers, params=params, cookies=cookies)
    html = res.text
    data = re.findall('\((.\*)\)',html)[0]
    data = json.loads(data)
    location = data['pois'][0]['location']
    lon = float(location.split(',')[0])
    lat = float(location.split(',')[1])
    return (lon, lat)

3.完整代码

从每个省级行政区中选出一个城市（即省会），创建一个txt用于将其存储：
在这里插入图片描述
完整的数据爬取代码如下：

# -\*- coding: utf-8 -\*-
"""
Created on Sun Feb 14 11:54:59 2021

@author: kimol\_love
"""
import os
import re
import json
import requests
import pandas as pd

def get\_info(keyword, pos, page=0):
    '''
 获取外卖商品信息
 '''
    url = 'https://wx-shangou.meituan.com/mtweapp/v2/search/v9/poiwithfilter?ui=xxx' # xxx处需要相应改
    headers = {'Connection': 'keep-alive',
               'Content-Length': '1191',
               'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36 MicroMessenger/7.0.9.501 NetType/WIFI MiniProgramEnv/Windows WindowsWechat',
               '\_deferreds': '[object Array]',
               'content-type': 'application/x-www-form-urlencoded',
               'uuid': 'xxx',
               'wm-ctype': 'mt\_weapp',
               'Accept-Encoding': 'gzip, deflate, br'}
    data = {'wm\_dtype': 'microsoft', 
            'wm\_dversion': '7.0.9', 
            'wm\_uuid': 'xxx', 
            'wm\_visitid': 'xxx', 
            'wm\_appversion': '5.13.26', 
            'wm\_logintoken': 'xxx', 
            'userToken': 'xxx', 
            'req\_time': 1613274108532, 
            'waimai\_sign': '%2F', 
            'wm\_longitude': int(pos[0]\*10\*\*6), 
            'wm\_latitude': int(pos[1]\*10\*\*6),
            'wm\_actual\_longitude': 0, 
            'wm\_actual\_latitude': 0, 
            'userid': 'xxx', 
            'user\_id': 'xxx', 
            'uniqueid': 'xxx', 
            'open\_id': 'xxx', 
            'openidcipher': 'xxx', 
            'uuid': 'xxx', 
            'rc\_platform': 13, 
            'platform': 13, 
            'rc\_app': 0, 
            'partner': 214, 
            'riskLevel': 71, 
            'keyword': keyword, 
            'page\_index': page, 
            'category\_type': 101578, 
            'entrance\_id': 101578, 
            'sort\_type': 0, 
            'search\_global\_id': 'xxx', 
            'wm\_ctype': 'mt\_weapp'}
    res = requests.post(url, headers=headers, data=data)
    res_json = res.json()
    return res_json

def parse\_info(data):
    '''
 提取所需数据
 '''
    result = [] # 用于保存结果
    for poi in data['data']['search\_poi\_list']:
        name = poi['name'] # 商店名称
        sales = int(poi['month\_sales\_tip'][2:]) # 月销量
        address = poi['address'] # 地址 
        lon = int(poi['longitude'])/10\*\*6 #　经度
        lat = int(poi['latitude'])/10\*\*6 # 纬度
        result.append({'商店名': name,
                       '月销量': sales,
                       '地址': address,
                       '经度': lon,
                       '纬度': lat})
    return result

def get\_lonlat(keywords):
    '''
 获取经纬度
 '''
    cookies = {
        'cna': '2voBF5IOjUUCAXWIWXVuwr8W',
        'UM\_distinctid': '1767bba477b6bd-00c663bca533b3-1a347740-e1000-1767bba477c515',
        'isg': 'BGhoxgK9o-s-8I9R8e9xGWcsOlZ6kcybbxhnvCKZpePsfQjn1qD8K\_v0cZWN1oRz',
        'l': 'eBOY0AmuO96VEuAdBOfalurza779\_IOYYuPzaNbMiOCP\_CCp5q8cWZ-AMOL9Cn1Vh6UXc37LhhQJBeYBqMIKnxvOKVLdi6Mmn',
        'tfstk': 'cFtVBg4K3mnq\_Csdmisa5HrbndsAZ8QG8uWOoFwkl8RrRN\_li2NOE50PU9UjqZf..',
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0',
        'Accept': '\*/\*',
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Referer': 'https://lbs.amap.com/console/show/picker',
        'Connection': 'keep-alive',
    }
    params = (
        ('s', 'rsv3'),
        ('children', ''),
        ('key', 'e07ffdf58c8e8672037bef0d6cae7d4a'),
        ('page', '1'),
        ('offset', '10'),
        ('city', '110000'),
        ('language', 'zh\_cn'),
        ('callback', 'jsonp\_160108\_'),
        ('platform', 'JS'),
        ('logversion', '2.0'),
        ('sdkversion', '1.3'),
        ('appname', 'https://lbs.amap.com/console/show/picker'),
        ('csid', '6DCF386C-8777-4724-AE49-8E688CCEF75A'),
        ('keywords', keywords),
    )
    res = requests.get('https://restapi.amap.com/v3/place/text', headers=headers, params=params, cookies=cookies)
    html = res.text
    data = re.findall('\((.\*)\)',html)[0]
    data = json.loads(data)
    location = data['pois'][0]['location']
    lon = float(location.split(',')[0])
    lat = float(location.split(',')[1])
    return (lon, lat)

if __name__ == '\_\_main\_\_':
    # 读取城市列表
    with open('citys.txt', 'r') as f:
        citys = f.readlines()
        citys = [c.strip() for c in citys]
        
    # 创建保存结果的目录
    savePath = './data'
    if not os.path.exists(savePath):
        os.mkdir(savePath)
        
    # 循环爬取数据
    for city in citys:    
        pos = get_lonlat(city)
        result = [] # 用于保存结果
        for page in range(5): # 爬取5页（共100条数据）
            data = get_info('鲜花', pos, page)
            data = parse_info(data)
            result.extend(data)
            print('"%s"第%d页爬取完成!'%(city, page+1))
        result = pd.DataFrame(result)
        result.to_csv('%s/%s.csv'%(savePath, city), index=False)

最后，我们得到了每个城市对应的玫瑰花月销量数据：
在这里插入图片描述
其中，每个表格的数据格式如下：
在这里插入图片描述

三、热力分析

有了城市玫瑰花月销量的数据之后，我们便可对其热度进行分析。这里采用了一种较简单的方式，即计算每个城市月销量的平均值，随后用pyecharts库将其以热力图的方式展示出来。代码如下：

# -\*- coding: utf-8 -\*-
"""
Created on Sun Feb 14 15:25:19 2021

@author: kimol\_love
"""
import os
import pandas as pd
from pyecharts.charts import Geo
from pyecharts import options as opts

if __name__ == '\_\_main\_\_':
    # 计算平均月销量
    savePath = './data'
    sales = [] # 平均月销量
    for file in os.listdir(savePath):
        city = file.split('.')[0]  # 城市
        data = pd.read_csv('%s/%s'%(savePath, file))
        sale = round(data['月销量'].mean(), 2) # 平均月销量
        sales.append((city, sale))
    max_sale = max([s[1] for s in sales]) # 最高销量
    min_sale = max([s[1] for s in sales]) # 最低销量
    
    # 绘制散点分布图
    geo = Geo(init_opts=opts.InitOpts(page_title='鲜花平均销量'))  
    geo.add_schema(maptype='china', is_roam=False, selected_mode=True, label_opts=opts.LabelOpts(is_show=True), itemstyle_opts=opts.ItemStyleOpts(color='#FFD5CF', border_color='#111')) 
    geo.add('', sales, type_ = 'heatmap') # 设置地图类型及数据
    geo.set_series_opts(label_opts = opts.LabelOpts(is_show = False))  #设置是否显示标签
    geo.set_global_opts(title_opts = opts.TitleOpts(title='各城市鲜花平均销量', subtitle='❤️情人节快乐❤️', pos_left='center',
                                                title_textstyle_opts=opts.TextStyleOpts(font_size=23),
                                                subtitle_textstyle_opts=opts.TextStyleOpts(font_size=15,font_weight='bold',color='#71CFEB')),
                       visualmap_opts = opts.VisualMapOpts(max_=max_sale+10))                      
    # 保存结果
    geo.render(path='月销量（热力）.html')

代码轻轻一跑，便有了上文的热力图。打完，收工~

四、写在最后

本次分析数据有限，所以结论可能稍显片面，仅作为娱乐参考，如有不足还请大家多多包涵。如果有感兴趣的小伙伴，也可以尝试着从更多的维度、更细的角度进行分析哦。

最后，再次祝大家伙春节及情人节双倍快乐呀🎈~
愿大家都能在奔波凡尘中找到属于自己的栖息之地；
愿大家都能在灿烂烟火中找到属于自己的美丽风景。

一点点题外话：
如果有对Python爬虫感兴趣的小伙伴，又苦于不知从何下手，不如考虑看看下面这个课程👇👇👇（从基础到应用一条龙，妈妈学了都说好😉）：

在这里插入图片描述
Ps.课程虽好，但爬虫终究还是一个实践工程，大家还是要动起手来哦~

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

hK-1715642150791)]
[外链图片转存中…(img-PYSZxpOl-1715642150791)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84905102
关注
  • 21
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值