Python爬虫+数据可视化+存入数据库（3）

最新推荐文章于 2024-09-13 19:41:31 发布
最新推荐文章于 2024-09-13 19:41:31 发布
阅读量585 收藏 20
点赞数 30
文章标签： python 爬虫 信息可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63231199/article/details/140723661
版权

        这篇简单简述怎么用Python工具进行数据分析，主要使用matplotlib、senborn以及pyecharts来进行。其紧跟前面用爬虫爬出来的数据来分析。

一、用matplotlib分析数据

        Matplotlib 是一个 Python 的图表绘制库，广泛用于生成各种静态、动态和交互式的图表。其中官网就有很多学习和设计案例：https://matplotlib.org/stable/gallery/index.html

1.代码设计

使用pandas来整理数据，再数据分析：

import pandas as pd
from matplotlib import pyplot as plt

# 解决中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决符号无法显示
plt.rcParams['axes.unicode_minus'] = False

# 读取数据
data = pd.read_csv('排行榜.csv')

# 去除歌名列重复数据
data = data.drop_duplicates(subset=['歌名'],keep='first')

# 统计时长/y轴
y = []
for time in data['时长']:
    y.append(int(time[1])*60+int(time[3])*10+int(time[4]))

# 歌名/x轴
x = data['歌名']

# 添加图表
plt.figure(figsize=(8,4))

# 设置图表、x、y轴三个标签
plt.title('前四歌曲时长统计',fontsize=14)
plt.xlabel('歌名',fontsize=14)
plt.ylabel('时长',fontsize=14)

# 设置x,y关系式
plt.plot(x[0:4],y[0:4])
plt.show()

 其中，drop_duplicates()函数是去重使用，一般有三个参数：
        subset：表示要进去重的列名，默认为 None。
        keep：有三个可选参数，分别是 first、last、False，默认为 first，表示只保留第一次出现的重复项，删除其余重复项，last 表示只保留最后一次出现的重复项，False 则表示删除所有重复项。
        inplace：布尔值参数，默认为 False 表示删除重复项后返回一个副本，若为 Ture 则表示直接在原数据上删除重复项。

2.运行结果

二、用seaborn分析数据

        Seaborn 是一个基于 matplotlib 的 Python 数据可视化库，它专注于绘制各种统计图形，以便更轻松地呈现和理解数据。其主要特点包括：

  1. 提供高级接口：能够通过少量代码实现复杂的统计图形绘制。
  2. 简化可视化过程：用户只需关注要绘制的内容，而无需过多关注图形的细节设置。
  3. 支持多种统计图形：例如散点图（sns.scatterplot()）、折线图（sns.lineplot()）、柱状图（sns.barplot()）、箱线图（sns.boxplot()）、热图（sns.heatmap()）等。

其官网也有很多案例：Example gallery — seaborn 0.13.2 documentation

1.代码设计

import pandas as pd
import seaborn as sns
from matplotlib import pyplot as plt

# 解决中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决符号无法显示
plt.rcParams['axes.unicode_minus'] = False


# 读取数据
data = pd.read_csv('排行榜.csv')

# 去除歌名列重复数据
data = data.drop_duplicates(subset=['歌名'],keep='first')

# 统计时长/y轴
y = []
for time in data['时长']:
    y.append(int(time[1])*60+int(time[3])*10+int(time[4]))

sns.displot(y,bins=15,color='r',kde=True)  # 时长分布统计

plt.show()

2.运行结果



三、使用pycharts分析数据

        Pyecharts 是一个用于生成 Echarts 图表的 Python 库。而Echarts 是一个由百度开源的强大的数据可视化库，具有出色的交互性和精美的可视化效果。而 Pyecharts 将 Echarts 与 Python 语言相结合，使得 Python 开发者能够更方便地创建各种类型的图表。

Pyecharts 的主要特点和优势包括：

  1. 丰富的图表类型：支持多种常见的图表类型，如折线图、柱状图、饼图、地图、箱线图等，满足不同场景下的数据可视化需求。

  2. 简洁的 API 设计：提供了简单易懂的接口，使得创建图表的代码简洁易读，易于理解和使用。

  3. 高度可定制性：允许开发者对图表的各种属性进行详细的配置，包括颜色、字体、标题、坐标轴等，以满足个性化的需求。

  4. 支持交互：生成的图表具有交互功能，用户可以通过鼠标操作进行缩放、平移、数据筛选等。

  5. 与 Jupyter Notebook 集成：可以在 Jupyter Notebook 环境中直接展示图表，方便数据分析和探索。

官网：简介 - pyecharts - A Python Echarts Plotting Library built with love.

1、代码设计

        因为导入数据的过程中，就只有一个播放时长适合统计，所以我们随机给每一行数据设计一个播放量

import csv
import pandas as pd
import random
from pyecharts.charts import Pie
from pyecharts import options as opts

result = []
with open('排行榜.csv', 'r', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        result.append(row)

# 添加播放量
result[0].append('播放量')
for i in range(1,len(result)):
    result[i].append(random.randint(100000, 200000))


data = pd.DataFrame(result)
data = data.drop_duplicates(subset=[2],keep='first')
# 设置x,y
x = data[2]
y = data[6]
# 画饼
pie = Pie()
pie.add(
    "播放量",
    list(zip(x[0:10], y[0:10])),
    radius=["50%", "75%"],
    rosetype="radius",
)
pie.set_global_opts(title_opts=opts.TitleOpts(title="排行榜前十"), legend_opts=opts.LegendOpts())
pie.render('pie.html')

2、运行结果

这里会生成html文件，我们再去运行这个文件。

会在浏览器，得到如下图：

四、最终代码

        三种工具分析，所以有三个文件

qqmatplotlib.py

import pandas as pd
from matplotlib import pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

data = pd.read_csv('排行榜.csv')
data = data.drop_duplicates(subset=['歌名'],keep='first')


y = []
for time in data['时长']:
    y.append(int(time[1])*60+int(time[3])*10+int(time[4]))
x = data['歌名']


plt.figure(figsize=(8,4))
plt.title('前四歌曲时长统计',fontsize=14)
plt.xlabel('歌名',fontsize=14)
plt.ylabel('时长',fontsize=14)
plt.plot(x[0:4],y[0:4])
plt.show()

qqseaborn.py

import pandas as pd
import seaborn as sns
from matplotlib import pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False


data = pd.read_csv('排行榜.csv')
data = data.drop_duplicates(subset=['歌名'],keep='first')

y = []
for time in data['时长']:
    y.append(int(time[1])*60+int(time[3])*10+int(time[4]))

sns.displot(y,bins=15,color='r',kde=True)  # 时长分布统计
plt.show()

qqpycharts.py

import csv
import pandas as pd
import random
from pyecharts.charts import Pie
from pyecharts import options as opts

result = []
with open('排行榜.csv', 'r', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        result.append(row)

result[0].append('播放量')
for i in range(1,len(result)):
    result[i].append(random.randint(100000, 200000))


data = pd.DataFrame(result)
data = data.drop_duplicates(subset=[2],keep='first')

x = data[2]
y = data[6]
pie = Pie()
pie.add(
    "播放量",
    list(zip(x[0:10], y[0:10])),
    radius=["50%", "75%"],
    rosetype="radius",
)
pie.set_global_opts(title_opts=opts.TitleOpts(title="排行榜前十"), legend_opts=opts.LegendOpts())
pie.render('pie.html')

更多有趣的内容可以去官网观摩，学习

派生学徒
关注
Python爬虫数据并存入MySQL数据库，实现可视化。
qq_41985630的博客
12-31 5943
2、Python爬取东方财富网程序代码 接 上一篇： 代码部分： * coding=gbk * 导入需要使用到的模块 from urllib import request import re import pandas as pd import pymysql import os 爬虫抓取网页函数 def getHtml(url): html = request.urlopen(url).read...
Python爬虫+数据可视化+存入数据库（2）
qq_63231199的博客
07-21 880
这里主要叙述如何将Python中的数据导入Mysql中，然后通过Python语句来进行数据库的增删查改。也就是将sql语句通过Python的pymysql库方法，来实现两个平台的信息对接。
Python爬虫+数据可视化+存入数据库（1）
qq_63231199的博客
07-20 874
python作为主流语言之一，其主要是使用范围广，数据分析，数据获取以及人工智能等领域较其他语言强，所以我们也可以试试Python的魅力之处
疫情数据可视化分析系统python+flask+pycharts+pymysql+爬虫
04-08
疫情数据可视化分析系统，使用python编写的，用爬虫去爬取数据，然后使用pymysql存入MySQL数据库，然后使用flask搭建web框架，最后使用pyecharts进行可视化。
Python大作业——爬虫+可视化+数据分析+数据库（数据分析篇）
m0_67400972的博客
07-29 778
其中x是歌曲量占比的列表，labels是对应的标签（在此图中则为歌手的姓名），explode就是上文提到的突出显示，这三个列表中的各个值是一一对应的，autopct是设置占比数值的显示方式，3.1f则表示占宽为3位（如果大于会原样输出），精度为1的浮点数。本来是想生成歌手拥有热门歌曲数量的柱形图的，但是那个爬取热门歌曲的网站中那些热门歌曲没有对应的歌手，还需要自己再去其他网站获得每首歌曲对应的歌手，太麻烦了就没这么做了，有兴趣的小伙伴可以自己实现一下。下面的data列表就是对应x元组范围的歌曲数量。...
Python大作业——爬虫+可视化+数据分析+数据库（可视化篇）
web15085599741的博客
07-29 8793
由UI图我们首先可以将界面分为左右两个部件，并为它们设置Name标示，随后将左右两侧的部件加入主部件中，并为他们设置位置以及所占大小。创建三个标签并为它们设置Name标示，随后创建九个按钮，同样设置Name标识，并在左侧布局中加入这些标签和按钮。为了简单方便，只设置了账号密码两个输入框以及登录注册两个按钮，如下为。登录界面将与主界面同大小，且为了方便布局，设置为固定大小不可改变。首先进行UI设计，以方便界面布局设置，界面设计大致如下。接着设置控件间距，并通过Name标识为他们设置样式，如。...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
12-23
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下： 爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单...
Python大作业——爬虫+可视化+数据分析+数据库（数据库篇）
2301_76348171的博客
04-12 586
msg_box = QMessageBox(QMessageBox.Warning, ‘温馨提示’, ‘用户名和密码不能为空’)msg_box = QMessageBox(QMessageBox.Warning, ‘错误提示’, ‘用户名或者密码错误’)msg_box = QMessageBox(QMessageBox.Warning, ‘温馨提示’, ‘用户名已经存在’)msg_box = QMessageBox(QMessageBox.Warning, ‘温馨提示’, ‘数据库连接错误’)
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 462
蒙特卡罗——布丰实验
车辆检测与分类系统源码分享
xuehaikj的博客
09-13 1155
数据集信息展示在本研究中，我们采用了名为“comexit”的数据集，以支持对YOLOv8模型在车辆检测与分类任务中的改进。该数据集专注于交通工具的识别，特别是公共交通和货运车辆，具有明确的应用背景和实用价值。数据集的类别数量为三，具体包括“bus”（公交车）、“car”（小汽车）和“truck”（卡车）。这三类车辆在城市交通和物流系统中扮演着重要角色，因此，准确的检测与分类对于交通管理、智能交通系统以及自动驾驶技术的发展具有重要意义。
opencv学习：calcHist 函数绘制图像直方图及代码实现
最新发布
mohanyelong的博客
09-13 769
opencv学习：calcHist 函数绘制图像直方图及代码实现
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1058
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定
weixin_53707653的博客
09-09 814
是一个强大且易用的工具，可以帮助开发者轻松管理 Python 项目的依赖关系，确保代码的可重复性和稳定性。是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。可以确保每次构建环境时都使用相同的依赖项版本，从而避免由于依赖项版本不一致导致的错误，提高代码可重复性和稳定性。自动化了依赖关系管理过程，节省了开发者的时间和精力，可以将更多时间投入到实际的开发工作中。文件中的信息，更新虚拟环境，安装、升级或卸载所需的软件包，确保虚拟环境与。命令可以从你的项目配置文件中生成。
程序的格式框架与缩进
qq_57335683的博客
09-08 372
在上一课时中，我们介绍了 Python 的基本概念，并成功运行了第一个 Python 程序。本课时将深入探讨 Python 程序的基本结构、缩进的重要性，以及如何正确使用注释。通过本课时的学习，你将更好地理解 Python 代码的组织方式，并能够避免一些常见的编程错误。通过本课时的学习，你了解了 Python 程序的基本结构，认识到缩进在 Python 中的重要性，并学会了如何避免常见的缩进错误。缩进不仅是 Python 代码风格的一部分，而且是语法的一部分。这意味着如果缩进不正确，程序将无法正常运行。
币安/OK现货合约量化系统APP开发
I592O929783的博客
09-08 598
后端：考虑系统需要处理大量实时数据和高频交易的特点，选择高性能的编程语言和技术框架，如Python的Django或Flask框架，Java的Spring Boot等。用户交互界面：设计直观易用的用户交互界面，包括交易界面、策略配置界面、风险管理界面等，方便用户进行交易操作、策略配置和风险管理。市场数据接入：开发市场数据接入模块，从币安等交易所或数据服务商获取实时的市场数据，包括行情数据、订单簿数据、成交数据等。前端：选择适合开发复杂界面的前端框架，如React、Vue.js等，以提供用户友好的交互界面。
Python 检测人脸筛选指定尺寸人脸图片
刚刚入门的小码农
09-09 604
主要功能是处理一个指定文件夹中的所有图像文件（.jpg和.png），并根据图像中检测到的人脸特征，筛选和移动符合条件的图像。
python爬取豆瓣电影top250 + 数据可视化
06-24
爬取这个榜单的数据可以帮助我们更好地了解电影市场和评价，数据可视化方面可以更好地呈现这些数据。 首先，我们可以使用Python程序编写爬虫，抓取豆瓣电影TOP250的数据。我们可以通过分析网页源代码，选取需要的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值