Python疫情数据爬取与可视化

最新推荐文章于 2024-04-24 13:35:29 发布
最新推荐文章于 2024-04-24 13:35:29 发布
阅读量3k 收藏 85
点赞数 10
分类专栏： Python 文章标签： python 爬虫 echarts 数据可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45042462/article/details/120031371
版权

使用Python爬取腾讯新闻疫情数据，并使用pyecharts可视化，绘制增长人数地图、柱状图、折线图。

文章目录

1.分析网页

  • 通过腾讯新闻公布的数据进行爬取
  • 网址:https://news.qq.com/zt2020/page/feiyan.htm#/
  • 对于静态网页，我们只需要把网页地址栏中的url传到get请求中就可以轻松地获取到网页的数据。
    在这里插入图片描述

2.导入模块

import time
import json
import requests
from datetime import datetime
import pandas as pd
import numpy as np

3.抓取数据

def Domestic():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    reponse = requests.get(url=url).json()
    data = json.loads(reponse['data'])
    return data
domestic = Domestic()

4.提取数据并写入Excel

areaTree = domestic['areaTree']
china_data = areaTree[0]['children']
china_list = []
list_province=[] #柱状图
list_nowConfirm=[]  #柱状图
list_conrirm=[]     #累计确证
for a in range(len(china_data)):
    province = china_data[a]['name']
    confirm = china_data[a]['total']['confirm']
    heal = china_data[a]['total']['heal']
    dead = china_data[a]['total']['dead']
    nowConfirm = confirm - heal - dead
    china_dict = {}
    china_dict['province'] = province
    china_dict['nowConfirm'] = nowConfirm
    china_dict['confirm']=confirm
    china_list.append(china_dict)
    list_province.append(province)
    list_nowConfirm.append(nowConfirm)
    list_conrirm.append(confirm)
china_data = pd.DataFrame(china_list)
china_data.to_excel('疫情数据.xlsx',index=False) #存储为EXCEL文件
china_data.head()

5.国内各地区现有确诊人数地图

import pyecharts.options as opts
from pyecharts.charts import Map
from pyecharts.globals import CurrentConfig, NotebookType
CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB
m = Map()
m.add("", [
    list(z)
    for z in zip(list(china_data["province"]), list(china_data["nowConfirm"]))
],
      maptype="china",
      is_map_symbol_show=False)
m.set_global_opts(
    title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数地图"),
    visualmap_opts=opts.VisualMapOpts(
        is_piecewise=True,
        pieces=[
            {
                "min": 5000,
                "label": '>5000',
                "color": "#893448"
            },  # 不指定 max，表示 max 为无限大
            {
                "min": 1000,
                "max": 4999,
                "label": '1000-4999',
                "color": "#ff585e"
            },
            {
                "min": 500,
                "max": 999,
                "label": '500-1000',
                "color": "#fb8146"
            },
            {
                "min": 101,
                "max": 499,
                "label": '101-499',
                "color": "#ffA500"
            },
            {
                "min": 10,
                "max": 100,
                "label": '10-100',
                "color": "#ffb248"
            },
            {
                "min": 1,
                "max": 9,
                "label": '1-9',
                "color": "#fff2d1"
            },
            {
                "max": 1,
                "label": '0',
                "color": "#ffffff"
            }
        ]))
m.render("地图.html")

在这里插入图片描述

6.国内各地区现有确诊人数柱状图

from pyecharts import options as opts
from pyecharts.charts import Bar
bar = (
    Bar()
    .add_xaxis(list_province)
    .add_yaxis("柱状图", list_nowConfirm)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数树状图"),
        yaxis_opts=opts.AxisOpts(name="现有确证病例"),
        xaxis_opts=opts.AxisOpts(name="地区"),
        datazoom_opts=opts.DataZoomOpts(type_="slider")
    )
)
bar.render("柱状图.html")

在这里插入图片描述

7.国内各地区现有确诊人数折线图

import pyecharts.options as opts
from pyecharts.charts import Line
line=(
    Line()
    .add_xaxis(xaxis_data=list_province)
    .add_yaxis(
        series_name="折线图",
        y_axis=list_nowConfirm,
        is_connect_nones=True
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数折线图"),
                     yaxis_opts=opts.AxisOpts(name="现有确证病例"),
                     xaxis_opts=opts.AxisOpts(name="地区"),
                     datazoom_opts=opts.DataZoomOpts(type_="slider")
     )
)
line.render("折线图.html")

在这里插入图片描述

8.国内各地区累计确诊人数地图


```python

```python

```python

```python
import pyecharts.options as opts
from pyecharts.charts import Map
from pyecharts.globals import CurrentConfig, NotebookType
CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB
m1 = Map()
m1.add("", [
    list(z)
    for z in zip(list(china_data["province"]), list(china_data["nowConfirm"]))
],
      maptype="china",
      is_map_symbol_show=False)
m1.set_global_opts(
    title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数地图"),
    visualmap_opts=opts.VisualMapOpts(
        is_piecewise=True,
        pieces=[
            {
                "min": 5000,
                "label": '>5000',
                "color": "#893448"
            },  # 不指定 max，表示 max 为无限大
            {
                "min": 1000,
                "max": 4999,
                "label": '1000-4999',
                "color": "#ff585e"
            },
            {
                "min": 500,
                "max": 999,
                "label": '500-1000',
                "color": "#fb8146"
            },
            {
                "min": 101,
                "max": 499,
                "label": '101-499',
                "color": "#ffA500"
            },
            {
                "min": 10,
                "max": 100,
                "label": '10-100',
                "color": "#ffb248"
            },
            {
                "min": 1,
                "max": 9,
                "label": '1-9',
                "color": "#fff2d1"
            },
            {
                "max": 1,
                "label": '0',
                "color": "#ffffff"
            }
        ]))
m1.render("地图.html")

在这里插入图片描述

9.国内各地区累计确诊人数柱状图

from pyecharts import options as opts
from pyecharts.charts import Bar
bar = (
    Bar()
    .add_xaxis(list_province)
    .add_yaxis("累计确诊柱状图", list_conrirm)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="COVID-19中国现有地区累计确诊人数树状图"),
        yaxis_opts=opts.AxisOpts(name="累计确诊病例"),
        xaxis_opts=opts.AxisOpts(name="地区"),
        datazoom_opts=opts.DataZoomOpts(type_="slider")
    )
)
bar.render("累计确诊柱状图.html")

在这里插入图片描述

10.国内各地区累计确诊人数折线图

import pyecharts.options as opts
from pyecharts.charts import Line
line=(
    Line()
    .add_xaxis(xaxis_data=list_province)
    .add_yaxis(
        series_name="累计确诊折线图",
        y_axis=list_conrirm,
        is_connect_nones=True
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="COVID-19中国地区累计现有确诊人数折线图"),
                     yaxis_opts=opts.AxisOpts(name="累计确诊病例"),
                     xaxis_opts=opts.AxisOpts(name="地区"),
                     datazoom_opts=opts.DataZoomOpts(type_="slider")
     )
)
line.render("累计确诊折线图.html")

在这里插入图片描述

11.完整代码

import time
import json
import requests
from datetime import datetime
import pandas as pd
import numpy as np

import pyecharts.options as opts
from pyecharts.charts import Map
from pyecharts.globals import CurrentConfig, NotebookType
CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB

from pyecharts import options as opts
from pyecharts.charts import Bar

import pyecharts.options as opts
from pyecharts.charts import Line


def Domestic():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    reponse = requests.get(url=url).json()
    data = json.loads(reponse['data'])
    return data
domestic = Domestic()
areaTree = domestic['areaTree']
china_data = areaTree[0]['children']
china_list = []
list_province=[] #柱状图
list_nowConfirm=[]  #柱状图
list_conrirm=[]     #累计确证
for a in range(len(china_data)):
    province = china_data[a]['name']
    confirm = china_data[a]['total']['confirm']
    heal = china_data[a]['total']['heal']
    dead = china_data[a]['total']['dead']
    nowConfirm = confirm - heal - dead
    china_dict = {}
    china_dict['province'] = province
    china_dict['nowConfirm'] = nowConfirm
    china_dict['confirm']=confirm
    china_list.append(china_dict)
    list_province.append(province)
    list_nowConfirm.append(nowConfirm)
    list_conrirm.append(confirm)
china_data = pd.DataFrame(china_list)
china_data.to_excel('疫情数据.xlsx',index=False) #存储为EXCEL文件
china_data.head()

m = Map()
m.add("", [
    list(z)
    for z in zip(list(china_data["province"]), list(china_data["nowConfirm"]))
],
      maptype="china",
      is_map_symbol_show=False)
m.set_global_opts(
    title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数地图"),
    visualmap_opts=opts.VisualMapOpts(
        is_piecewise=True,
        pieces=[
            {
                "min": 5000,
                "label": '>5000',
                "color": "#893448"
            },  # 不指定 max，表示 max 为无限大
            {
                "min": 1000,
                "max": 4999,
                "label": '1000-4999',
                "color": "#ff585e"
            },
            {
                "min": 500,
                "max": 999,
                "label": '500-1000',
                "color": "#fb8146"
            },
            {
                "min": 101,
                "max": 499,
                "label": '101-499',
                "color": "#ffA500"
            },
            {
                "min": 10,
                "max": 100,
                "label": '10-100',
                "color": "#ffb248"
            },
            {
                "min": 1,
                "max": 9,
                "label": '1-9',
                "color": "#fff2d1"
            },
            {
                "max": 1,
                "label": '0',
                "color": "#ffffff"
            }
        ]))
m.render("地图.html")



bar = (
    Bar()
    .add_xaxis(list_province)
    .add_yaxis("柱状图", list_nowConfirm)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数树状图"),
        yaxis_opts=opts.AxisOpts(name="现有确证病例"),
        xaxis_opts=opts.AxisOpts(name="地区"),
        datazoom_opts=opts.DataZoomOpts(type_="slider")
    )
)
bar.render("柱状图.html")

line=(
    Line()
    .add_xaxis(xaxis_data=list_province)
    .add_yaxis(
        series_name="折线图",
        y_axis=list_nowConfirm,
        is_connect_nones=True
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="COVID-19中国现有地区现有确诊人数折线图"),
                     yaxis_opts=opts.AxisOpts(name="现有确诊病例"),
                     xaxis_opts=opts.AxisOpts(name="地区"),
                     datazoom_opts=opts.DataZoomOpts(type_="slider")
     )
)
line.render("折线图.html")

m1 = Map()
m1.add("", [
    list(z)
    for z in zip(list(china_data["province"]), list(china_data["confirm"]))
],
      maptype="china",
      is_map_symbol_show=False)
m1.set_global_opts(
    title_opts=opts.TitleOpts(title="COVID-19中国地区累计确诊人数地图"),
    visualmap_opts=opts.VisualMapOpts(
        is_piecewise=True,
        pieces=[
            {
                "min": 5000,
                "label": '>5000',
                "color": "#893448"
            },  # 不指定 max，表示 max 为无限大
            {
                "min": 1000,
                "max": 4999,
                "label": '1000-4999',
                "color": "#ff585e"
            },
            {
                "min": 500,
                "max": 999,
                "label": '500-1000',
                "color": "#fb8146"
            },
            {
                "min": 101,
                "max": 499,
                "label": '101-499',
                "color": "#ffA500"
            },
            {
                "min": 10,
                "max": 100,
                "label": '10-100',
                "color": "#ffb248"
            },
            {
                "min": 1,
                "max": 9,
                "label": '1-9',
                "color": "#fff2d1"
            },
            {
                "max": 1,
                "label": '0',
                "color": "#ffffff"
            }
        ]))
m1.render("累计确诊地图.html")

bar = (
    Bar()
    .add_xaxis(list_province)
    .add_yaxis("累计确诊柱状图", list_conrirm)
    .set_global_opts(
        title_opts=opts.TitleOpts(title="COVID-19中国地区累计确诊人数树状图"),
        yaxis_opts=opts.AxisOpts(name="累计确诊病例"),
        xaxis_opts=opts.AxisOpts(name="地区"),
        datazoom_opts=opts.DataZoomOpts(type_="slider")
    )
)
bar.render("累计确诊柱状图.html")

line=(
    Line()
    .add_xaxis(xaxis_data=list_province)
    .add_yaxis(
        series_name="累计确诊折线图",
        y_axis=list_conrirm,
        is_connect_nones=True
    )
    .set_global_opts(title_opts=opts.TitleOpts(title="COVID-19中国地区累计现有确诊人数折线图"),
                     yaxis_opts=opts.AxisOpts(name="累计确诊病例"),
                     xaxis_opts=opts.AxisOpts(name="地区"),
                     datazoom_opts=opts.DataZoomOpts(type_="slider")
     )
)
line.render("累计确诊折线图.html")
小吴在敲Bug
关注
  • 10
    点赞
  • 踩
  • 85
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
python爬虫步骤-Python爬虫爬取数据的步骤
q6q6q的专栏
10-28 3355
爬虫：网络爬虫是捜索引擎抓取系统（Baidu、Google等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。步骤：第一步：获取网页链接1.观察需要爬取的多网页的变化规律，基本上都是只有小部分有所变化，如：有的网页只有网址最后的数字在变化，则这种就可以通过变化数字将多个网页链接获取；2.把获取得到的多个网页链接存入字典，充当一个临时数据库，在需要用时直接通过函数...
用python爬取全国和全球疫情数据，并进行可视化分析(过程详细代码可运行)
热门推荐
sunzhipan11的博客
01-06 3万+
python 爬取疫情数据，并进行分析
Python爬虫实战+数据分析+数据可视化（腾讯新闻实时疫情）
qq_45821420的博客
01-30 7917
一、爬虫部分 爬虫说明： 1、本爬虫是以面向对象的方式进行代码架构的 2、本爬虫爬取的数据存入到MongoDB数据库中 3、爬虫代码中有详细注释 4、爬虫爬取的美食是以无锡为例 5、博客末尾附有源码+数据库文件 代码展示 import re import requests import json from pymongo import MongoClient class COVID_19(): def __init__(self): # 入口url self.star
Python爬取新冠肺炎实时数据及其可视化分析
12-22
点赞、关注再看，养成良好习惯 Life is short, U need Python 初学Python，快来点我吧 案例：Python爬取新冠肺炎实时数据及其可视化分析 作者：PyQuant 博客：https://blog.csdn.net/qq_33499889 慕课：https://mooc1-2.chaoxing.com/course/207443619.html 本案例适合作为大数据技术基础课程中数据爬取、清洗以及可视化部分的配套教学案例。通过本案例，能够达到以下教学效果： 培养学生爬取网站数据以及数据清洗、加工处理的能力。 案例中通过Python第三方库request获取网站实
python爬虫爬取腾讯网站——实时疫情数据并生成Excel表格
Ztf1123的博客
12-01 6140
期末爬虫项目
python对疫情数据爬取，可视化，词云
qq_46199553的博客
07-20 1206
1.首先我们要找到对应的接口才能爬取到相应的数据，先找到腾讯疫情网址，如下 https://news.qq.com/hdh5/feiyanarea.htm#/ 2.按F12,查看源代码：get是获取到数据，也就是我们爬取数据的一个接口 3.搞定了接口，接下来就是对接口数据的了解 4.直接上代码 import time import json import requests from datetime import datetime import pandas as pd import numpy a
使用Python爬取分析腾讯新冠疫情数据，并对json格式进行校验
qq_40985985的博客
11-26 843
使用Python获取分析腾讯新冠疫情数据，并对json格式进行校验
Pyecharts可视化
IT小辉同学
08-06 1437
为天地立心，为生民立道，为往圣继绝学，为万世开太平
想要高效爬取数据？五种爬虫方式全解析！
l01011_的博客
11-01 1581
随着网络技术的不断发展，爬虫技术已经成为数据获取的重要手段之一。然而，在实践中，许多人在面对不同种类的爬虫方式时，经常感到无从下手。
pyecharts解决不能显示图像
qq_47844519的博客
05-16 8527
pyecharts解决不能显示图像 jupyter 最近学习pyecharts时在jupyter当中不能出现图像，总结了一下解决方法。 pyecharts-assets 提供了 pyecharts 的静态资源文件。可通过 localhost-server 或者 notebook-server 启动本地服务。首先将项目下载到本地 # 通过 git clone $ git clone https://github.com/pyecharts/pyecharts-assets.git # 或者直接下载压缩包 $
新冠肺炎疫情数据分析与可视化 python完整课设和代码
06-15
通过爬取到的数据，利用 Pyecharts 库进行可视化数据分析，将繁琐的数据转换为于理解的图表形式，并发布在前端网页上，将details表里的各市累计确诊数据，以省分组进行累加，将结果返回给前端。根据各省疫情确诊的...
Python+Flask 爬取疫情数据进行可视化分析
06-16
Python爬虫获取疫情数据，利用Flask+Echarts对数据进行分析与多样化展示。 Python + Flask + Echarts制作的新冠肺炎疫情实时监控项目，完成的功能主要有： 1、统计全球各国疫情数据 2、统计全国各省市地区每日疫情...
基于python的疫情数据爬虫及可视化源码+项目说明（丁香园疫情数据爬取+echarts可视化+flask框架）.zip
01-24
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等...基于python的疫情数据爬虫及可视化源码+项目说明（丁香园疫情数据爬取+echarts可视化+flask框架）.zip
基于python的新冠肺炎疫情数据可视化及建模预测.zip
11-29
基于python的新冠肺炎疫情数据可视化及建模预测.zip基于python的新冠肺炎疫情数据可视化及建模预测.zip基于python的新冠肺炎疫情数据可视化及建模预测.zip基于python的新冠肺炎疫情数据可视化及建模预测.zip基于...
Ansible 指定受控端使用Python的版本
shijin741231的博客
04-20 540
最近在装Ansible，有一台受控端Ubuntu16的服务器，安装了Python2.7.12和Pyhon3.5。当用Ansible连接它时，显示使用的是Python3.5。最后看文档，发现Ansible可以在hosts的文件中指定受控服上运行的Python。
【编译程序介绍】
武帝为此的博客
04-22 1153
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 165
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
python requests几点代理相关
i_9420的博客
04-19 513
1，很多人，包括我，应该只知道requests默认只是支持http代理，有没密码验证都一样。但是，其实呢，最新的requests已经支持 sock5 代理了，也支持密码认证；3，另外，request 现在可以使用all 参数，指定代理的所有类型，不需要像上面的那样，每个类型都指定一次。2，如果要让requests支持 sock5代理，需要导入第三方库，是不是越来越方便了呢。
【算法设计与分析】最近点对问题蛮力法破解及可视化绘图显示
FellAveal的博客
04-20 1108
难点在于多线程的学习以及可视化的操作，由于对Python的多线程不熟悉，多少也走了一些弯路。其中关键部分是通过线程间通讯传递所要可视化展示的点和连线。本文针对本课程内容上机实验一进行预习，通过python的matplotlib库提供一个可能的可视化显示代码运算的方式。（很明显是因为Python画图方便才使用的，算法还是建议用C/C++来进行实现）蛮力法的代码实现很简单，遍历数对，找到最近的点。文尽于此，本文使用Markdown编辑。由于之前便已经发觉到了。Python画图的优势。正在计算的两个点的序号。
关于python疫情数据爬取并可视化项目的经济可行性
06-06
Python疫情数据爬取并可视化项目的经济可行性取决于多个方面，如项目规模、市场需求、商业模式等。以下是一些可能的商业模式： 1. 数据供应商：将爬取到的疫情数据出售给其他公司或机构，如咨询公司、研究机构、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小吴在敲Bug

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值