前言
嗨喽!大家好,这里是魔王~
本次目的
Python疫情数据采集, 并做可视化展示(数据采集, 数据分析)
知识点:
- 爬虫基本流程
- requests 发送请求
- re 正则表达式
- json 结构化数据解析
- pyecharts 可视化
开发环境:
- python 3.8: 解释器
- pycharm: 代码编辑器
爬虫流程:
一. 明确需求 (爬虫 + 数据分析)
采集 确诊人数 新增人数 数据所在位置:
地址
二. 代码流程 爬虫四大步骤
发送请求 地址
获取数据 网页源代码
解析数据 筛选一些我想用的数据
保存数据 保存成表格
做数据可视化分析
代码编写
导入模块
import requests # 额外安装: 第三方模块
import re # 内置模块
import csv
with open('data.csv', mode='a', newline='') as f:
csv_writer = csv.writer(f)
csv_writer.writerow(['area', 'curConfirm', 'curConfirmRelative', 'confirmed', 'crued', 'died'])
url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia/?from=osari_aladin_banner'
1. 发送请求
response = requests.get(url)
# <Response [200]>: 请求成功意思
2. 获取数据 网页源代码
html_data = response.text
相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以点击免费领取
3. 解析数据
json_str = re.findall('"component":\[(.*)\],', html_data)[0] # 字符串
# 字典类型取值, 转类型
json_dict = eval(json_str)
caseList = json_dict['caseList']
for case in caseList:
area = case['area'] # 城市
curConfirm = case['curConfirm'] # 当前确诊
curConfirmRelative = case['curConfirmRelative'] # 新增人数
confirmed = case['confirmed'] # 累计确诊
crued = case['crued'] # 治愈人数
died = case['died'] # 死亡人数
print(area, curConfirm, curConfirmRelative, confirmed, crued, died)
4. 保存数据
# 乱码 encoding="utf-8" / encoding<