Python采集全球疫情数据并做可视化分析

「已注销」

于 2022-10-14 14:47:23 发布

阅读量1w

点赞数 15

分类专栏： python案例 pytho基础文章标签： python 开发语言

本文链接：https://blog.csdn.net/aliYz/article/details/127319176

版权

本文介绍了如何使用Python进行全球疫情数据的采集和可视化分析。讲解了爬虫的基本流程，包括发送请求、解析数据和保存数据。通过requests库获取数据，用pyecharts和pandas进行数据处理和图表绘制。提供了详细的代码示例。

摘要由CSDN通过智能技术生成

嗨嗨，大家好~

今天真的是刚睡醒就知道RNG八人确诊，这年头出国打个比赛都这么不容易，希望早日康复~

唉，今天就教你们

如何用Python采集全球疫情数据，并做可视化分析

请添加图片描述

知识点:

爬虫基本流程
requests 发送请求
re 正则表达式
json 结构化数据解析

开发环境:

python 3.8: 解释器
pycharm: 代码编辑器
requests 发送请求
pyecharts 绘制图表
pandas 读取数据

基本原理:

模拟成浏览器/客户端向服务器发送请求的过程

思路:

找到数据来源

静态的数据: 你在右键点击查看网页源代码能够找到的数据
动态的数据: 你在右键点击查看网页源代码找不到的数据

实现爬虫代码的流程:

发送请求 (通过代码的方式访问上方的数据来源/访问网站)
获取数据
解析数据
保存数据

采集代码

import requests     # 发送请求
import csv          # 内置模块 不需要你安装的

mode=‘a’: 追加写入

encoding=‘utf-8’: 编码方式 / gbk

newline=‘’: 数据空行

f = open('疫情数据.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(f)
csv_writer.writerow(['name', 'confirm', 'confirmAdd', 'dead', 'heal', 'nowConfirm'])

headers 伪装公开数据

url = 'https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoCountryConfirmAdd,WomWorld,WomAboard'

发送请求

response = requests.post(url)

<Response [200]>: 200, 请求成功了

获取数据

.text: 直接获取文本内容

.json(): 字典键值对的方式把数据取出来

.content: 获取二进制内容, 视频 / 音频 / 图片

json_data = response.json()

解析数据

结构非常的标准

结构化的数据 json数据直接通过字典键值对的方式取值 [‘data’] [‘WomAboard’]

非结构化数据网页源代码 css/xpath/re

python学习交流Q群：770699889 ###
WomAboard = json_data['data']['WomAboard']
# 0, 224
for i in range(0, 225):
    name = WomAboard[i]['name']
    confirm = WomAboard[i]['confirm']
    confirmAdd = WomAboard[i]['confirmAdd']
    dead = WomAboard[i]['dead']
    heal = WomAboard[i]['heal']
    nowConfirm = WomAboard[i]['nowConfirm']
    print(name, confirm, confirmAdd, dead, heal, nowConfirm)

保存数据

    csv_writer.writerow([name, confirm, confirmAdd, dead, heal, nowConfirm])
f.close()

可视化代码

import pandas as pd     # 做表格操作的模块
from pyecharts.charts import Map  # 绘图的模块
from pyecharts import options as opts

python学习交流Q群：770699889 ###
name_map = {
   
    'Singapore Rep.': '新加坡',
    'Dominican Rep.': '多米尼加',
    'Palestine': '巴勒斯坦',
    'Bahamas': '巴哈马',
    'Timor-Leste': '东帝汶',
    'Afghanistan': '阿富汗',
    'Guinea-Bissau': '几内亚比绍',
    "Côte d'Ivoire": '科特迪瓦',
    'Siachen Glacier'