Python大数据分析之实时疫情数据可视化（含代码）

一.Python实时数据爬取

目标网站是腾讯新闻网实时数据，其原理主要是通过Requests获取Json请求，从而得到各省、各市的疫情数据。
爬虫目标网站：
https://news.qq.com/zt2020/page/feiyan.htm
第一步 分析网站
通过浏览器“审查元素”查看源代码及“网络”反馈的消息，如下图所示：

第二步 发送请求并获取Json数据
通过分析url地址、请求方法、参数及响应格式，可以获取Json数据，注意url需要增加一个时间戳。下面代码展示了获取数据的键值及34个省份。

# -*- coding: utf-8 -*-
#------------------------------------------------------------------------------
# 第一步：抓取数据
#------------------------------------------------------------------------------
import time, json, requests
# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(time.time()*1000)
data = json.loads(requests.get(url=url).json()['data'])
#print(data)
print(data.keys())

# 统计省份信息(34个省份 湖北 广东 河南 浙江 湖南 安徽....)
num = data['areaTree'][0]['children']
print(len(num))
for item in num:
    print(item['name'],end=" ")   # 不换行
else:
    print("\n")                     # 换行

输出结果如下图所示，其顺序按照确诊人数排序。

第三步 获取湖北省疫情数据
接着通过 num[23][‘children’] 获取湖北省的疫情数据，代码如下：

# ------------------------------------------------------------------------------
# 第一步：抓取数据
# ------------------------------------------------------------------------------
import time, json, requests

# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d' % int(time.time() * 1000)
data = json.loads(requests.get(url=url).json()['data'])
#print(data)
#print(data.keys())

# 统计省份信息(34个省份 湖北 广东 河南 浙江 湖南 安徽....)
num = data['areaTree'][0]['children']
print(len(num))
for item in num:
    print(item['name'], end=" ")  # 不换行
else:
    print("\n")  # 换行

# 显示湖北省数据
hubei = num[23]['children']
for data in hubei:
    print(data)

同样的方法可以获取各省份的数据，比如 num[7][‘children’] 表示北京疫情数据，我们设置循环就能获取所有数据。其数据包括当日数据（today）和累计数据（total），confirm表示确诊、suspect表示疑似、dead表示死亡、heal表示治愈。

第四步 获取各省确诊人数
注意，初始化每个省份人数为0，然后循环累加该省所有城市的确诊人数，调用 city_data[‘total’][‘confirm’] 获取各城市的确诊数据。

# -*- coding: utf-8 -*-

#------------------------------------------------------------------------------
# 第一步：抓取数据
#------------------------------------------------------------------------------
import time, json, requests
# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(time.time()*1000)
data = json.loads(requests.get(url=url).json()['data'])
print(data)
print(data.keys())

# 统计省份信息(34个省份 湖北 广东 河南 浙江 湖南 安徽....)
num = data['areaTree'][0]['children']
print(len(num))
for item in num:
    print(item['name'],end=" ")   # 不换行
else:
    print("\n")                     # 换行
    
# 显示湖北省数据
hubei = num[23]['children']
for item in hubei:
    print(item)
else:
    print("\n")

# 解析数据(确诊 疑似 死亡 治愈)
total_data = {
   }
for item in num:
    if item['name'] not in total_data:
        total_data.update({
   item['name']:0})
    for city_data in item['children']:
        total_data[item['name']] +=int(city_data['total']['confirm'])    
print(total_data)

输出结果

二.Matplotlib绘制全国各地区柱状图

首先，我们调用Matplotlib绘制全国各地区的确诊人数柱状图，帮助大家回忆其基本用法。total_data为字典变量键值对，比如{‘湖北’: 68149, ‘广东’:2038,…}

# ------------------------------------------------------------------------------
# 第二步：绘制柱状图
# ------------------------------------------------------------------------------
import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 获取数据
names = total_data.keys()
nums = total_data.values()
print(names)
print(nums)

# 绘图
plt.figure(figsize=[10, 6])
plt.bar(names, nums, width=0.3, color='green')

# 设置标题
plt.xlabel("地区", fontproperties='SimHei', size=12)
plt.ylabel("人数", fontproperties='SimHei', rotation=90, size=12)
plt.title("全国疫情确诊数对比图", fontproperties='SimHei', size=16)
plt.xticks(list(names), fontproperties='SimHei', rotation=-45, size=10)
# 显示数字
for a, b in zip(list(names), list(nums)):
    plt.text(a, b, b, ha='center', va='bottom', size=6)
plt.show()

输出结果：

那么，如果我想获取累计确诊人数、新增确诊人数、死亡人数和治愈人数，并进行可视化展示，怎么办呢？只需要简单替换参数即可。

city_data[‘total’][‘confirm’] 确诊人数
city_data[‘total’][‘suspect’] 疑似人数
city_data[‘total’][‘dead’] 死亡人数
city_data[‘total’][‘heal’] 治愈人数
city_data[‘today’]