一.Python实时数据爬取
目标网站是腾讯新闻网实时数据,其原理主要是通过Requests获取Json请求,从而得到各省、各市的疫情数据。
爬虫目标网站:
https://news.qq.com/zt2020/page/feiyan.htm
第一步 分析网站
通过浏览器“审查元素”查看源代码及“网络”反馈的消息,如下图所示:
第二步 发送请求并获取Json数据
通过分析url地址、请求方法、参数及响应格式,可以获取Json数据,注意url需要增加一个时间戳。下面代码展示了获取数据的键值及34个省份。
# -*- coding: utf-8 -*-
#------------------------------------------------------------------------------
# 第一步:抓取数据
#------------------------------------------------------------------------------
import time, json, requests
# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(time.time()*1000)
data = json.loads(requests.get(url=url).json()['data'])
#print(data)
print(data.keys())
# 统计省份信息(34个省份 湖北 广东 河南 浙江 湖南 安徽....)
num = data['areaTree'][0]['children']
print(len(num))
for item in num:
print(item['name'],end=" ") # 不换行
else:
print("\n") # 换行
输出结果如下图所示,其顺序按照确诊人数排序。
第三步 获取湖北省疫情数据
接着通过 num[23][‘children’] 获取湖北省的疫情数据,代码如下:
# ------------------------------------------------------------------------------
# 第一步:抓取数据
# ------------------------------------------------------------------------------
import time, json, requests
# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d' % int(time.time() * 1000)
data = json.loads(requests.get(url=url).json()['data'])
#print(data)
#print(data.keys())
# 统计省份信息(34个省份 湖北 广东 河南 浙江 湖南 安徽....)
num = data['areaTree'][0]['children']
print(len(num))
for item in num:
print(item['name'], end=" ") # 不换行
else:
print("\n") # 换行
# 显示湖北省数据
hubei = num[23]['children']
for data in hubei:
print(data)
同样的方法可以获取各省份的数据,比如 num[7][‘children’] 表示北京疫情数据,我们设置循环就能获取所有数据。其数据包括当日数据(today)和累计数据(total),confirm表示确诊、suspect表示疑似、dead表示死亡、heal表示治愈。
第四步 获取各省确诊人数
注意,初始化每个省份人数为0,然后循环累加该省所有城市的确诊人数,调用 city_data[‘total’][‘confirm’] 获取各城市的确诊数据。
# -*- coding: utf-8 -*-
#------------------------------------------------------------------------------
# 第一步:抓取数据
#------------------------------------------------------------------------------
import time, json, requests
# 抓取腾讯疫情实时json数据
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(time.time()*1000)
data = json.loads(requests.get(url=url).json()['data'])
print(data)
print(data.keys())
# 统计省份信息(34个省份 湖北 广东 河南 浙江 湖南 安徽....)
num = data['areaTree'][0]['children']
print(len(num))
for item in num:
print(item['name'],end=" ") # 不换行
else:
print("\n") # 换行
# 显示湖北省数据
hubei = num[23]['children']
for item in hubei:
print(item)
else:
print("\n")
# 解析数据(确诊 疑似 死亡 治愈)
total_data = {
}
for item in num:
if item['name'] not in total_data:
total_data.update({
item['name']:0})
for city_data in item['children']:
total_data[item['name']] +=int(city_data['total']['confirm'])
print(total_data)
输出结果
二.Matplotlib绘制全国各地区柱状图
首先,我们调用Matplotlib绘制全国各地区的确诊人数柱状图,帮助大家回忆其基本用法。total_data为字典变量键值对,比如{‘湖北’: 68149, ‘广东’:2038,…}
# ------------------------------------------------------------------------------
# 第二步:绘制柱状图
# ------------------------------------------------------------------------------
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
# 获取数据
names = total_data.keys()
nums = total_data.values()
print(names)
print(nums)
# 绘图
plt.figure(figsize=[10, 6])
plt.bar(names, nums, width=0.3, color='green')
# 设置标题
plt.xlabel("地区", fontproperties='SimHei', size=12)
plt.ylabel("人数", fontproperties='SimHei', rotation=90, size=12)
plt.title("全国疫情确诊数对比图", fontproperties='SimHei', size=16)
plt.xticks(list(names), fontproperties='SimHei', rotation=-45, size=10)
# 显示数字
for a, b in zip(list(names), list(nums)):
plt.text(a, b, b, ha='center', va='bottom', size=6)
plt.show()
输出结果:
那么,如果我想获取累计确诊人数、新增确诊人数、死亡人数和治愈人数,并进行可视化展示,怎么办呢?只需要简单替换参数即可。
city_data[‘total’][‘confirm’] 确诊人数
city_data[‘total’][‘suspect’] 疑似人数
city_data[‘total’][‘dead’] 死亡人数
city_data[‘total’][‘heal’] 治愈人数
city_data[‘today’]