每天都被数据分析给拿捏，今天教你用python采集商品数据，做可视化分析

最新推荐文章于 2023-12-16 20:00:55 发布
最新推荐文章于 2023-12-16 20:00:55 发布
阅读量952 收藏 11
点赞数
分类专栏： Python案例 文章标签： python 数据分析 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyuan_____/article/details/130172258
版权

前言

咳咳，一个月没更新的我 咱就是说 之前账号密码忘记了 你们信吗

话不多说 ，咱先开始研究研究数据分析吧

环境使用

在开始之前，安装好我们的代码编辑器和环境是非常重要的

  • Python 3.8
  • pycharm --> 编辑器
  • jupyter notebook --> 数据分析编辑器

模块使用

  • requests >>> pip install requests 数据请求
  • parsel >>> pip install parsel 数据解析
  • csv <表格文件> 内置模块 保存数据

安装第三方模块方法：win + R 输入cmd 输入安装命令 pip install 模块名

(如果你觉得安装速度比较慢, 你可以切换国内镜像源)

案例基本思路

  1. 明确需求 <完成>
    明确采集的网站是什么?
    明确采集的数据是什么?
  2. 发送请求, 模拟浏览器对url地址发送请求
  3. 获取数据, 获取网页源代码
  4. 解析数据, 提取我们想要的数据内容 <书籍基本信息>
  5. 保存数据, 保存表格文件里面

请添加图片描述

需用到知识点:

基础知识点:

  • open文件操作 保存
  • for循环
  • 字典创建
  • 函数关键传参
  • print输出函数

采集知识点:

  • requests简单使用
  • parsel css选择器
  • csv 数据持久化

代码展示

完整源码绿方块搜索：xiaoyuanllsll 领取

导入模块

# 导入数据请求模块 --> 第三方模块, 需要安装 pip install requests
import requests
# 导入数据解析模块 --> 第三方模块, 需要安装 pip install parsel
import parsel
# 导入csv模块
import csv

采集多页

for page in range(1, 26):
    # 请求链接
    url = f'http://*****.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}'

伪装浏览器

headers = {
    # User-Agent 表示浏览器基本身份信息
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}

发送请求

response = requests.get(url=url, headers=headers)
print(response)

<Response [200]> 响应对象

Response中文意思就是响应

<> 表示对象 200 状态码 表示请求成功

把获取下来html字符串数据<response.text>, 转成可解析对象

selector = parsel.Selector(response.text)

返回列表, 列表里面元素都是选择器对象 <每一个li标签的对象>

lis = selector.css('.bang_list_mode li')

for循环遍历, 把列表里面元素一个一个提取出来

提取数据具体内容：

标题 价格 出版社…

    for li in lis:
        title = li.css('.name a::attr(title)').get()  # 标题
        comment = li.css('.star a::text').get()  # 评论
        recommend = li.css('.tuijian::text').get()  # 推荐
        writer = li.css('.publisher_info a::attr(title)').get()  # 作者
        date = li.css('.publisher_info span::text').get()  # 日期
        publisher = li.css('div:nth-child(6) a::text').get()  # 出版社
        price_n = li.css('.price .price_n::text').get()  # 售价
        price_r = li.css('.price .price_r::text').get()  # 原价
        price_s = li.css('.price .price_s::text').get()  # 折扣
        price_e = li.css('.price_e .price_n::text').get()  # 电子书
        href = li.css('.name a::attr(href)').get()  # 详情页
        dit = {
            '标题': title,
            '评论': comment,
            '推荐': recommend,
            '作者': writer,
            '日期': date,
            '出版社': publisher,
            '售价': price_n,
            '原价': price_r,
            '折扣': price_s,
            '电子书': price_e,
            '详情页': href,
        }
        csv_writer.writerow(dit)
        # print(title, comment, recommend, writer, date, publisher, price_n, price_r, price_s, price_e, href)
        print(dit)

创建文件

f = open('书籍25.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '评论',
    '推荐',
    '作者',
    '日期',
    '出版社',
    '售价',
    '原价',
    '折扣',
    '电子书',
    '详情页',
])
csv_writer.writeheader()

请添加图片描述

请添加图片描述

数据可视化代码：

源码领取方式 请看代码中数字

1.导入模块

import pandas as pd
from pyecharts.charts import *
690643772 ### 源码领取
from pyecharts.globals import ThemeType#设定主题
from pyecharts.commons.utils import JsCode
import pyecharts.options as opts

2.导入数据

df = pd.read_csv('data.csv', encoding='utf-8', engine='python')
df.head()

请添加图片描述

3.数据处理

df['书名'] = df['书名'].apply(lambda x:x.split('（')[0])
df.head()

df['书籍简介'] = df['书名'].str.extract('.*?（(.*?)）')

df['书籍简介'].fillna('无', inplace=True)

df.head(1)

提取评论数

data = df.apply(lambda x:x['评论'].split('条评论')[0], axis=1)
df['评论数'] = data.astype('int64')

原价、售价、电子书价格 数值化

df['原价'] = df['原价'].str.replace('¥', '')
df['售价'] = df['售价'].str.replace('¥', '')
df['电子书价格'] = df['电子书'].str.replace('¥', '')
df.head(1)

请添加图片描述

df['原价'] = df['原价'].str.replace(',', '').astype('float64')
df['售价'] = df['售价'].str.replace(',', '').astype('float64')

选择需要用到的列

df = df[['书名','书籍简介','评论','作者','日期','出版社','原价','售价','电子书']]
df.head(1)

缺失值

df.isnull().sum()

请添加图片描述

df['作者'].fillna('未知', inplace=True)
df['出版社'].fillna('未知', inplace=True)

请添加图片描述

电子书价格列额外处理

 df['电子书'] = df['电子书'].str.replace(',', '').replace('¥', '').astype('float64')

df['电子书'].fillna('无电子书版本', inplace=True)

重复值

df.duplicated().sum()

df.info()

请添加图片描述

请添加图片描述

4. 可视化

电子书版本占比

per = df['电子书'].value_counts()['无电子书版本']/len(df)

c = (
    Liquid()
    .add("lq", [1-per], is_outline_show=False)
    .set_global_opts(title_opts=opts.TitleOpts(title="电子书版本占比"))
)
c.render_notebook()

请添加图片描述

from pyecharts import options as opts
from pyecharts.charts import Bar


c = (
    Bar()
    .add_xaxis(x)
    .add_yaxis(','.join(x), y)
    .set_global_opts(
        xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
        title_opts=opts.TitleOpts(title="", subtitle=""),
    )
)
c.render_notebook()

请添加图片描述

import pyecharts.options as opts
from pyecharts.charts import Pie
690643772 ### 源码领取
content = df['出版社'].value_counts()
# x = content.index.tolist()[:10]
# y = content.values.tolist()[:10]

x_data = content.index.tolist()[:10]
y_data = content.values.tolist()[:10]
data_pair = [list(z) for z in zip(x_data, y_data)]
data_pair.sort(key=lambda x: x[1])

c = (
    Pie(init_opts=opts.InitOpts(width="1600px", height="800px", bg_color="#2c343c"))
    .add(
        series_name="访问来源",
        data_pair=data_pair,
        rosetype="radius",
        radius="55%",
        center=["50%", "50%"],
        label_opts=opts.LabelOpts(is_show=False, position="center"),
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(
            title="前10出版社, 书籍占比",
            pos_left="center",
            pos_top="20",
            title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
        ),
        legend_opts=opts.LegendOpts(is_show=False),
    )
    .set_series_opts(
        tooltip_opts=opts.TooltipOpts(
            trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
        ),
        label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
    )
    
)
c.render_notebook()

请添加图片描述

from pyecharts import options as opts
from pyecharts.charts import Pie
from pyecharts.faker import Faker
690643772 ### 源码领取
content = df['出版社'].value_counts()  # 读取出版社的数据
x_data = content.index.tolist()[:10]
y_data = content.values.tolist()[:10]
data_pair = [list(z) for z in zip(x_data, y_data)]
data_pair
# x_data = content.index.tolist()[:10]  # 
# y_data = content.values.tolist()[:10]
# data_pair = [list(z) for z in zip(x_data, y_data)]
c = (
    Pie()
    .add(
        "",
        data_pair,
        radius=["40%", "75%"],
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(title="出版社前10名"),
        legend_opts=opts.LegendOpts(orient="vertical", pos_top="15%", pos_left="2%"),
    )
    .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
    
)
c.render_notebook()

请添加图片描述

最后

这篇文章写到这里就结束了 你们需要代码的话 可以私信 也可以评论留言

「已注销」
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
python商品销售数据分析可视化系统
02-07
一个基于Python的程序，可以用来对商品销售数据进行分析，可以对商品销售数据可视化，还带爬虫程序。直接上传源码压缩包，下载即可运行。
冻成狗啦 我用Python爬取某宝2008条棉袄，终于买到心仪的棉袄了
m0_57227221的博客
12-06 313
转眼就到12月份了，但是没想到今年的冬天这么冷，基本取暖靠抖，太冷啦！ 于是，赶紧打开了Python，用它爬取并分析一波棉袄，找到一件最合适的棉袄给裹到身上。 01 数据采集 数据采集是数据可视化分析的第一步，也是最基础的一步，数据采集的数量和质量越高，后面分析的准确的也就越高，我们来看一下淘宝网的数据该如何爬取。 淘宝网站是一个动态加载的网站，我们之前可以采用解析接口或者用Selenium自动化测试工具来爬取数据，但是现在淘宝对接口进行了加密，使我们很难分析出来其中的规律，同时淘宝也对Selenium.
[Python实战]采集电商平台商品数据进行可视化分析
想学习python欢迎在评论区留言，我看到都会用心回复
07-19 1779
嗨喽~大家好呀，这里是小曼呐 ❤ ~!
python商品数据分析可视化系统（带爬虫）京东销售数据分析 计算机毕业设计 源码下载
十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
12-10 3346
python商品数据分析可视化系统（带爬虫）京东销售数据分析 计算机毕业设计 源码下载
基于python的旅游系统_Python数据分析 I 全国旅游景点分析案例，哪里好玩一目了然...
weixin_39645268的博客
11-29 2086
前言文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者： 刘亦菲的老公PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取数据获取爬取了携程网上关于全国大概16000条景点数据和美团网上五个城市的大概5000条酒店数据，然后导出为.csv表格形式方便用pandas.read_csv()来读取其中的数据。数据预处理...
Python 爬取京东商品评论 + 词云展示
叶庭云 成为自己的光
08-12 1万+
利用python爬虫爬取京东商品评论数据，并绘制词云展示。
基于python网络爬虫的小说网数据采集分析与可视化项目源码（课程设计）.zip
11-17
基于python网络爬虫的小说网数据采集分析与可视化项目源码（课程设计）.zip已获导师指导并通过的97分的高分大作业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于python...
基于Python的二手房数据采集及可视化分析源码（高分期末大作业）.zip
11-19
基于Python的二手房数据采集及可视化分析源码（高分期末大作业）.zip主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含全部项目源码、该项目可以直接使用、项目都经过严格...
基于Python的南京二手房数据采集及可视化分析项目源码+全部资料PPT文件.zip
02-15
基于Python的南京二手房数据采集及可视化分析项目源码+全部资料PPT文件.zip个人98分期末大作业项目，代码完整下载可用。主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含...
基于Python的杭州二手房数据采集及可视化分析设计源码
最新发布
04-11
本源码提供了一个基于Python的杭州二手房数据采集及可视化分析设计。项目包含47个文件，其中包括13个Python源文件、6个TXT文件、5个XML文件、5个Python字节码文件、4个CSV文件、4个INI文件、3个XLSX文件、2个...
大宗商品现货数据不好拿？商品季节性难跟踪？技术宅带你Python爬虫一键解决没烦恼
sljsz的博客
10-03 1181
数量技术宅团队在CSDN学院推出了量化投资系列课程 欢迎有兴趣系统学习量化投资的同学，点击下方链接报名： 量化投资速成营（入门课程） Python股票量化投资 Python期货量化投资 Python数字货币量化投资 C++语言CTP期货交易系统开发 数字货币JavaScript语言量化交易系统开发 更多精彩内容，欢迎关注公众号：数量技术宅。探讨数据分析、量化投资问题，请加技术宅微信：sljsz01 季节性在大宗商品的交易中至关重要 大宗商品交易中，特别是在期货市场，由于商品价格周期的..
python带你采集淘/苏/唯/考四大电商平台商品数据
m0_72282564的博客
01-02 2077
嗨喽，大家好呀~这里是爱看美女的茜茜呐又到了学Python时刻~python 3.8 越稳定越好pycharm 2021专业版。
chatgpt赋能python：Python爬虫获取商品数据的方法
liangzijiaa的博客
06-17 184
简而言之，Python爬虫是指利用Python编写程序，对特定网站进行自动化访问并获取网站页面数据的过程。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的。
大数据毕业设计：基于python商品数据采集分析可视化系统 淘宝数据采集 大数据 大屏可视化（附源码+论文）✅
十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
12-16 2088
大数据毕业设计：基于python商品数据采集分析可视化系统 淘宝数据采集 大数据 大屏可视化（附源码+论文）✅
Python爬取电商数据：商品采集接口 商品详情数据API 商品主图接口
Jernnifer_mao的博客
04-20 834
本文将向大家介绍如何用Python采集器建立一个可立即实现电商价格监控的可扩展价格追踪器。 利用item_get接口可以抓取到商品详情数据，响应参数中可以监控到优惠价、总价、原价等。
【Python】爬虫获取购物网站的商品信息、商品图片
qq_52201194的博客
04-19 4424
【Python】爬虫、爬取购物网站数据、Selenium安装教程及环境搭建 前言一、Selenium安装二、Chrome安装驱动：三、某东爬虫代码：四、成果展示：五、结束语： 【Python】爬虫、爬取购物网站数据、Selenium安装教程及环境搭建 ) 前言 Selenium是一个用电脑模拟人操作浏览器网页，可以实现自动化，测试等！本文主要使用Selenium库与chrome浏览器进行数据获取。 一、Selenium安装 pip install selenium 二、Chrome安装驱动： chrome
Python爬虫+数据可视化：分析唯品会商品数据
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
07-21 1702
唯品会是中国领先的在线特卖会电商平台之一，它以“品牌特卖会”的模式运营，为会员提供品牌折扣商品。唯品会的商品包括服装、鞋类、箱包、美妆、家居、母婴、食品等各类品牌产品。这就是今天的受害者，我们要拿取上面的泳衣数据，然后可以做些数据可视化。
数据分析：母婴商品数据可视化
Duke_LH的博客
08-25 1496
数据来源：Baby Goods Info Data 读取数据 import numpy as np import pandas as pd from pyecharts.charts import Pie,Bar,Page from pyecharts import options as opts filename = r'train.csv' #联结年龄和性别后的表 filename1 = r'trade_history.csv' data = pd.read_csv(filename) data1 =
Python爬虫实战之爬淘宝商品并做数据分析
热门推荐
m0_59235245的博客
05-18 2万+
前言 是这样的，之前接了一个金主的单子，他想在淘宝开个小鱼零食的网店，想对目前这个市场上的商品做一些分析，本来手动去做统计和分析也是可以的，这些信息都是对外展示的，只是手动比较麻烦，所以想托我去帮个忙。 一、 项目要求： 具体的要求如下： 1.在淘宝搜索“小鱼零食”，想知道前10页搜索结果的所有商品的销量和金额，按照他划定好的价格区间来统计数量，给我划分了如下的一张价格区间表： 2.这10页搜索结果中，商家都是分布在全国的哪些位置？ 3.这10页的商品下面，用户评论最多的是什么？ 4.从这些搜索结果中，
python可视化数据分析-纯干货：手把手教你用Python做数据可视化（附代码）
06-10
非常好的问题！Python可视化数据分析确实是一个很重要的话题。以下是一些常用的Python可视化库和简单的代码示例： 1. Matplotlib Matplotlib是Python中最常用的可视化库之一，可以绘制各种图表，包括线图、柱状图、散点图等等。以下是一个简单的示例代码： ```python import matplotlib.pyplot as plt import numpy as np # 生成数据 x = np.linspace(0, 10, 100) y = np.sin(x) # 绘制图表 plt.plot(x, y) plt.show() ``` 2. Seaborn Seaborn是一个基于Matplotlib的数据可视化库，可以快速绘制各种统计图表。以下是一个简单的示例代码： ```python import seaborn as sns import pandas as pd # 生成数据 data = pd.DataFrame({'x': np.random.randn(100), 'y': np.random.randn(100)}) # 绘制散点图 sns.scatterplot(x='x', y='y', data=data) ``` 3. Plotly Plotly是一个交互式的数据可视化库，可以绘制各种高质量的图表，并且可以与Dash等框架集成。以下是一个简单的示例代码： ```python import plotly.graph_objs as go import numpy as np # 生成数据 x = np.linspace(0, 10, 100) y = np.sin(x) # 绘制折线图 fig = go.Figure() fig.add_trace(go.Scatter(x=x, y=y, mode='lines')) fig.show() ``` 以上仅是三个常用的Python可视化库和简单的代码示例，还有很多其他的库和方法可以用来进行数据可视化。希望这些例子可以帮助你开始学习数据可视化！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值