Python教你爬取某团烤肉店铺数据信息并实现数据可视化，吃货还是更多的（内含完整代码）

最新推荐文章于 2024-03-27 09:48:46 发布
最新推荐文章于 2024-03-27 09:48:46 发布
阅读量2.3k 收藏 59
点赞数 8
分类专栏： python 编程 文章标签： python pycharm 爬虫 编程语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python56123/article/details/122042702
版权
python 同时被 2 个专栏收录
227 篇文章 64 订阅
订阅专栏
编程
19 篇文章 4 订阅
订阅专栏

[课 题]：

Python爬取某团店铺数据信息并实现数据可视化

[课程亮点]

1、动态数据抓包演示
2、json数据解析
3、requests模块的使用
4、保存csv

请添加图片描述

[环境介绍]

  • python 3.8 解释器
  • pycharm 编辑器 2021.2

[模块使用]

  • requests
    安装方法 pip install requests （第三方模块 需要大家去安装）

  • csv

win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)
相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以私我领取

请添加图片描述

本课题流程思路(爬虫最基本思路):

无论是爬取那个网站 都是可以按照这个流程去走的

一. 数据来源分析

1. 确定我们要爬取数据内容是什么?
    店铺基本数据信息
2. 通过开发者工具(F12)进行抓包分析 分析数据从哪里可以获取
    美团数据, 从第一页数据进行分析的, 没办法实现翻页爬取操作

二. 代码实现步骤: 发送请求 获取数据 解析数据 保存数据

1. 发送请求, 对于店铺信息数据包url地址发送请求 https://apimobile.meituan.com/group/v4/poi/pcsearch/70
2. 获取数据, 获取服务器返回的response响应数据
3. 解析数据, 提取我们想要的一些数据内容 (店铺信息)
4. 保存数据, 把相应的数据内容保存csv表格里面
5. 多页爬取数据内容 >>> 多页爬取找我们请求的url地址的变化规律
6. 爬取电话号码....

爬虫 看到的数据都是可以采集 只是说难易程度问题
多页爬虫数据 数据可视化效果展示 以及 店铺的电话店址采集演示
请添加图片描述

代码趴

import requests  # 数据请求模块  第三方模块 需要 pip install requests
import pprint  # 格式化输出模块
import csv  # 数据保存模块 csv表格
import time # 时间模块

# mode 保存方式 encoding 编码 newline 新队 wb保存二进制数据
f = open('烤肉.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '店铺名称',
    '人均消费',
    '店铺评分',
    '店铺类型',
    '所在商圈',
    '评论人数',
    '维度',
    '经度',
    '详情页',
])
csv_writer.writeheader() # 写入表头

请添加图片描述

1. 发送请求

# 确定请求的url地址
num = 1
for page in range(0, 321, 32):
    print(f'正在爬取第{num}页的数据内容')
    time.sleep(2)
    url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
    # 小知识点 pycharm里面小技巧 快速批量替换 选中需要替换的内容 ctrl + r 然后用正则表达式替换
    data = {
        'uuid': 'e0ee521794ef4b229eb6.1633764159.1.0.0',
        'userid': '266252179',
        'limit': '32',
        'offset': page,
        'cateId': '-1',
        'q': '烤肉',
        'token': 'tRYI1qf6lRQYFw6Fnu2yzM9YXfEAAAAAhA8AAK4wbGGP2BD766PyOuIYZWRkrs14kUl62lE7NGcLsIuqVWo4qXln6gtKqyaJ_cSLlA',
    }
    # Referer 防盗链 就是告诉服务器 我们发送请求的url地址是从哪里跳转过来的
    # User-Agent 用户代理 浏览器基本身份标识
    headers = {
        'Referer': 'https://chs.meituan.com/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
    }
    # url=url 把请求url地址参数传入进去  params=data 传入请求参数
    # 通过requests模块里面get请求方式 对于url地址发送请求 并且携带上 data请求参数 headers请求头, 最后用response变量接收一下返回数据
    response = requests.get(url=url, params=data, headers=headers)
    # <Response [403]> 返回的response响应对象 403 状态码 表示的你没有访问权限 (发送请求失败了) 200 表示请求成功
    # 被识别出 我们是爬虫脚本 伪装
    # 2. 获取数据, 获取服务器返回的response响应数据 response.json() 获取响应体json字典数据
    # print(response.json())
    # pprint.pprint(response.json())

2. 解析数据, 提取我们想要的一些数据内容 (店铺信息) 数据容器之一

    # 通过字典键值对取值 关键字 对应 值  根据冒号左边的内容 提取冒号右边的内容
    searchResult = response.json()['data']['searchResult']
    # pprint.pprint(searchResult) index 自定义的变量
    for index in searchResult:
        # pprint.pprint(index)
        href = f'https://www.meituan.com/meishi/{index["id"]}/'
        # 创建一个字典 去接收数据
        dit = {
            '店铺名称': index['title'],
            '人均消费': index['avgprice'],
            '店铺评分': index['avgscore'],
            '店铺类型': index['backCateName'],
            '所在商圈': index['areaname'],
            '评论人数': index['comments'],
            '维度': index['latitude'],
            '经度': index['longitude'],
            '详情页': href,
        }
        csv_writer.writerow(dit)
        print(dit)
    num +=1

请添加图片描述
在这里插入图片描述
在这里插入图片描述

数据可视化代码

#%%

import pandas as pd
import numpy as np
from pyecharts.charts import *
from pyecharts import options as opts
from pyecharts.globals import ThemeType  #引入主题
df = pd.read_csv('烤肉.csv',encoding='utf-8',engine="python")
df.sample(5)

#%%

df.info()

#%%

df = df.fillna('暂无数据')

#%%

cut = lambda x : '一般' if x <= 3.5 else ('不错' if x <= 4.0 else('好' if x <= 4.5 else '很好'))
df['评分类型'] = df['店铺评分'].map(cut)

#%%

df.describe()

在这里插入图片描述

#%%

import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置加载的字体名
plt.rcParams['axes.unicode_minus'] = False   # 解决保存图像是负号'-'显示为方块的问题
fig,axes=plt.subplots(2,1,figsize=(12,12))
sns.regplot(x='人均消费',y='店铺评分',data=df,color='r',marker='+',ax=axes[0])
sns.regplot(x='评论人数',y='店铺评分',data=df,color='g',marker='*',ax=axes[1])

#%%

df2 = df.groupby('所在商圈')['店铺名称'].count()
df2 = df2.sort_values(ascending=True)[-10:]
df2 = df2.round(2)
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
    .add_xaxis(df2.index.tolist())
    .add_yaxis("",df2.tolist()).reversal_axis() #X轴与y轴调换顺序
    .set_global_opts(title_opts=opts.TitleOpts(title="商圈烤肉店数量top10",subtitle="数据来源：美团",pos_left = 'center'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小
                       yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

#%%

在这里插入图片描述

df4 = df.groupby('店铺评分')['店铺名称'].count()
df4 = df4.sort_values(ascending=False)
regions = df4.index.tolist()
values = df4.tolist()
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
        .add("", [z for z in zip(regions,values)])
        .set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源：美团",pos_top="-1%",pos_left = 'center'))
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18))
    )
c.render_notebook()

#%%

在这里插入图片描述

df6 = df.groupby('店铺类型')['店铺名称'].count()
df6 = df6.sort_values(ascending=False)[:10]
df6 = df6.round(2)
regions = df6.index.tolist()
values = df6.tolist()
c = (
        Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
        .add("", [i for i in zip(regions,values)],radius=["40%", "75%"])
        .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center'))
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18))
    )
c.render_notebook()

#%%

df6 = df.groupby('店铺类型')['店铺评分'].mean()
df6 = df6.sort_values(ascending=True)
df6 = df6.round(2)
df6 = df6.tail(10)
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
    .add_xaxis(df6.index.tolist())
    .add_yaxis("",df6.tolist()).reversal_axis() #X轴与y轴调换顺序
    .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型评分",subtitle="数据来源：美团",pos_left = 'center'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小
                       yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

#%%

df7 = df.groupby('店铺类型')['评论人数'].sum()
df7 = df7.sort_values(ascending=True)
df7 = df7.tail(10)
c = (
    Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND))
    .add_xaxis(df7.index.tolist())
    .add_yaxis("",df7.tolist()).reversal_axis() #X轴与y轴调换顺序
    .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型评论人数",subtitle="数据来源：美团",pos_left = 'center'),
                       xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小
                       yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小
                       )
    .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
    )
c.render_notebook()

#%%

在这里插入图片描述

在这里插入图片描述

魔王不会哭
关注
  • 8
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Python爬虫实战：数据采集、处理与分析
03-30
内容概要：该资源是一份Python爬虫实战指南，内容涵盖数据采集、处理和分析的全过程。通过该资源，读者可以了解Python爬虫的基本原理、常用库和工具，学习如何使用Python编写爬虫程序并采集数据，同时还能学习如何使用Python进行数据处理和分析。 适用人群：本资源适用于对Python编程有一定了解的开发者、数据分析师、研究人员等人群。 使用场景及目标：本资源适用于需要采集、处理和分析网络上的各种数据的场景，例如网站数据抓取、数据挖掘和分析等。使用该资源可以帮助读者提高数据采集、处理和分析的效率和准确性。 其他说明：本资源内容详实，通过代码实例和案例演示让读者更好地理解Python爬虫的使用方法和技巧，同时也有一些注意事项和常见问题的解答，帮助读者更好地掌握Python爬虫实战的技能。
最新美团网数据抓取实战。
python
01-24 1922
写在前面的话，还处于爬虫初期，很多东西一知半解，边学边记录，边学边做。代码写的自己都看不下去了。。。。 本期重点，美团网商铺数据，暂只抓了美食商家数据。先上战果，暂只抓了10万条，一小时左右，未对数据去重。大概思路如下，先抓取各个省份城市，然后获取其经纬度，最后构造参数，翻页拿取数据。抓取结果 获取各个城市名字，id。第一个地址(https://www.meituan.com/ptapi/get...
探索美团App爬虫：一个高效的数据抓取工具
最新发布
gitblog_00040的博客
03-27 1861
探索美团App爬虫：一个高效的数据抓取工具 项目地址:https://gitcode.com/hahaha108/meituanAppSpider 项目简介 在GitCode上，有一个名为hahaha108/meituanAppSpider的开源项目，它是一个专门用于抓取美团应用数据的Python爬虫框架。如果你对数据分析、市场研究或者只是想了解美团平台上的信息有兴趣，那么这个项目绝对值得你关注。...
使用影刀抓取美团信息（案例）
twtandhy的博客
08-16 1746
使用影刀RPA抓取美团商家信息案例
Python爬虫系列之MEITUAN全站信息爬取实战
Packager
12-31 9842
Python爬虫系列之美团全站信息爬取实战 该实战有时间我会持续更新，因为近期比较忙，只写了一个类目下的抓取流程，其他类目我后期会慢慢补上 声明：仅供用于学习交流，不可用于恶意操作 直接上代码，详情请看注释 import requests from bs4 import BeautifulSoup import re import json import time ''' @Author...
用Python教你采集二手房源数据信息并做可视化展示
想学习python欢迎在评论区留言，我看到都会用心回复
07-13 1159
大家好啊，我是小曼呀~今天给宝宝们，带来采集二手房源数据信息并做可视化展示的教程。觉得还不错的宝宝请点个关注哦。
python 数据分析可视化实战 超全超详细
02-16 1392
python 数据分析可视化实战 超全超详细
【python】当当书籍数据抓取分析与可视化（代码+报告）【独一无二】
热门推荐
测试开发自动化
11-30 1万+
本项目旨在研究和分析当当网上的书籍信息。当当网作为中国领先的在线零售平台之一，其上架的书籍种类繁多，涵盖了从文学、科技到教育等多个领域。这些书籍信息不仅能反映出市场上的流行趋势，还可以揭示消费者的购买偏好和出版业的发展动态。 项目的第一阶段集中在通过网络爬虫技术从当当网上爬取书籍数据。使用Python语言，结合requests和lxml库，项目团队成功地爬取了书名、作者、单价、出版日期、出版社和书籍简介等关键信息。在这个过程中，团队克服了多种网络爬虫的常见挑战，如网页编码处理、动态加载的内容、反爬机制的规避
Python系列 | 基于Requests和PyEcharts实现爬取博客数据可视化大屏分析
woshinsy的博客
12-11 1826
博客作者数据分析实现的思路大致为爬虫(用户通过控制台输入用户博客地址和博客文章地址)和大屏可视化展示两方面
使用Python分析餐厅订单数据
qq_51447436的博客
07-18 9581
使用Python分析餐厅订单数据
集某团档案信息化建设投资建设可行性分析研究方案--大学毕设论文.doc
07-08
集某团档案信息化建设投资建设可行性分析研究方案--大学毕设论文.doc
某团cms系统官网源码.zip
08-14
某团cms系统官网源码
某团cms系统官网源码
09-03
某团cms系统官网源码
某团建活动策划实施计划方案.doc
09-18
某团建活动策划实施计划方案.doc
外卖o2o小程序App源码外卖跑腿同城配送仿云贝外卖o2o开源美团系统开发定制搭建源码
08-25
2、基础功能：支持多商户入驻、外卖配送、扫码点餐、当面付、自建配送等基础模块； 3、营销模块：新客立减、满额立减、配送费满减、平台红包、付费会员卡、会员储值、分销、积分商城等20多种营销模等
python营业数据分析_基于pandas python的美团某商家的评论销售(数据分析)
weixin_39671631的博客
12-06 232
数据初步的分析本文是该系列的第一篇 数据清洗 数据初步的统计from pyecharts import Bar,Pieimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport timedf=pd.read_excel("all_data_meituan.xlsx")df.head(2)anonymous...
教你一招另辟蹊径抓取美团火锅数据
pdcfighting的博客
06-20 1436
最近有个小伙伴在群里问美团数据怎么获取，而且她只要火锅数据，她在上海，只要求抓上海美团火锅的数据，而且要求也不高，只要100条，想做个简单的分析，相关的字段如下图所示。 乍一看，这个问题还真的是蛮难的，毕竟美团也不是那么好抓，什么验证码，模拟登陆等一大堆拂面而来，吓得小伙伴都倒地了。 通过F12查看，抓包，分析URL，找规律，等等操作。 不过白慌，今天小编给大家介绍一个小技巧，另辟蹊径去搞定美团的数据，这里需要用到抓包工具Fiddler。讲道理，之前我开始接触网络爬虫的时候也没有听过这个东东，后来就慢
使用Python进行美团外卖数据采集的简易教程
weixin_62853513的博客
08-28 1626
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章美团外卖是目前国内最大的在线外卖订餐平台之一，对于市场分析、竞争情报等方面的研究，采集美团外卖的数据是一项重要任务。本教程将向您展示如何使用Python进行美团外卖数据采集，以便帮助您了解市场趋势、进行竞品研究等。
午餐不知道吃什么？用 Python 爬美团App评论选餐！
人生苦短， 还不用Python？
08-01 2234
作者： 想的美 一、介绍 朋友暑假实践需要美团外卖APP评论这一份数据，一开始我想，这不就抓取网页源代码再从中提取数据就可以了吗，结果发现事实并非如此，情况和之前崔大讲过的分析Ajax来抓取今日头条街拍美图类似，都是通过异步加载的方式传输数据，不同的是这次的是通过JS传输，其他的基本思路基本一致，希望那些数据能帮到她吧 当然在学习Python的道路上肯定会困难，没有好的学习资料，怎么去学习呢？...
python数据抓取技术与实战 pdf
08-12
Python数据抓取技术与实战 PDF是一本介绍利用Python进行数据抓取的技术和实践的书籍。数据抓取是指通过编程手段从互联网上获取数据的过程。而Python作为一种简单易学的编程语言，具备强大的数据处理和网络操作能力，因此被广泛应用于数据抓取领域。 这本书主要分为两个部分，第一部分是Python数据抓取技术的基础知识介绍。包括如何使用Python进行网页解析、网络请求、Cookies管理、代理设置等内容，以及常用的数据抓取库和工具的使用方法。通过这些基础知识的学习，读者可以掌握Python进行数据抓取的基本能力。 第二部分是数据抓取技术在实践中的应用。书中涵盖了各种实际场景中常见的数据抓取案例，例如爬取电商网站商品信息、抓取新闻网站的新闻数据、抓取社交媒体的用户信息等。每个案例都会详细介绍实现的思路和具体步骤，并配有代码示例和实际运行结果。通过这些实战案例的学习，读者可以将抽象的数据抓取技术应用到具体的数据获取任务中。 本书的特点是结合理论与实践，既讲解了数据抓取的原理和技术，又通过实际案例进行实战演练。同时，书中的内容浅显易懂，适合初学者入门学习。此外，书中还提供了丰富的参考资料和学习资源，方便读者进一步深入学习和实践。 总之，Python数据抓取技术与实战 PDF是一本帮助读者掌握使用Python进行数据抓取的实用指南，旨在帮助读者通过编程获取所需数据，并应用到实际工作中。是学习Python数据抓取的必备参考书籍。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值