Python获取丁香园疫情数据并解析json数据

最新推荐文章于 2024-06-07 08:30:00 发布
最新推荐文章于 2024-06-07 08:30:00 发布
阅读量8.3k 收藏 32
点赞数 6
分类专栏： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41441896/article/details/104272374
版权

Python获取丁香园疫情数据并解析json数据

在利用pyecharts V1.x版本，使用Map对象进行制图时，对数据格式的要求比较高，如果数据格式不正确可能达不到我们预期的效果。在我的前一篇文章中介绍了如何利用丁香园疫情数据制作地图，今天就为大家说下如何爬取、解析数据。

    1. 地址解析

丁香园Github-疫情数据下载地址

https://github.com/BlankerL/DXY-2019-nCoV-Data/blob/master/json/DXYArea.json

https://raw.githubusercontent.com/BlankerL/DXY-2019-nCoV-Data/master/json/DXYArea.json

    1. 爬虫实现
  • 实现代码（更新于2020-04-01）
# -*- coding: utf-8 -*-

"""
@File    : JsonCrawlerRelativeData.py
@Author  : fungis@163.com
@Time    : 2020/2/10 19:10
"""

import json
import requests

#爬取丁香园数据页面
url = 'https://raw.githubusercontent.com/BlankerL/DXY-2019-nCoV-Data/master/json/DXYArea.json'
response = requests.get(url)
# 将响应信息进行json格式化
versionInfo = response.text
print(versionInfo)#打印爬取到的数据
print("------------------------")

#一个从文件加载，一个从内存加载#json.load(filename)#json.loads(string)
jsonData = json.loads(versionInfo)

#用于存储数据的集合
dataSource = []
provinceShortNameList = []
confirmedCountList = []
curedCount = []
deadCountList = []
#遍历对应的数据存入集合中
for k in range(len(jsonData['results'])):
    if(jsonData['results'][k]['countryName'] == '中国'):
        provinceShortName = jsonData['results'][k]['provinceShortName']
        if("待明确地区" == provinceShortName):
            continue;
        confirmedCount = jsonData['results'][k]['confirmedCount']
        # 存储数据为键值对点形式（[['江苏', 492], ['安徽', 830]]）
        dataSource.append("['"+provinceShortName+"',"+str(confirmedCount)+"]")
        provinceShortNameList.append(provinceShortName)#省份名称简称
        confirmedCountList.append(confirmedCount)
        curedCount.append(jsonData['results'][k]['curedCount'])
        deadCountList.append(jsonData['results'][k]['deadCount'])
        # print(jsonData['results'][k]['provinceName'])#打印省份全称

print("data = "+str(dataSource).replace('"',''))#省份，确认人数集合data =[省份,确诊人数],[省份,确诊人数]...]
print("columns = "+str(provinceShortNameList))#省份集合
print("confirmedCount = "+str(confirmedCountList))#确诊人数集合
print("curedCount = "+str(curedCount))#治愈人数集合
print("deadCount = "+str(deadCountList))#死亡人数集合
  • 爬取结果
格式化JSON数据变成制图所需格式

  • 反馈
    在进行爬虫时，发现第一次爬取时有结果出现，第二次、第三次爬取…，可能被限制了IP。不过等个一个小时就又可以进行了。由于制图所需数据有限，爬一次就足够了。

  • 本地方式获取（更新于2020-04-01）
    如果不能爬下来，建议把今日份的JSON数据给保存到本地，然后通过读取本地文件的方式进行解析。

# -*- coding: utf-8 -*-

"""
@File    : JsonLoadProvinceData.py
@Author  : fungis@163.com
@Time    : 2020/2/10 16:32
"""

import json

#数据下载地址
#https://github.com/BlankerL/DXY-2019-nCoV-Data/blob/master/json/DXYArea.json

#读取本地疫情JSON数据
f = open("./file/dat/data20200401.json",
         encoding='utf-8')  # 设置以utf-8解码模式读取文件，encoding参数必须设置，否则默认以gbk模式读取文件，当文件中包含中文时，会报错
jsonData = json.load(f)

#用于存储数据的集合
dataSource = []
provinceShortNameList = []
confirmedCountList = []
curedCount = []
deadCountList = []
#遍历对应的数据存入集合中
for k in range(len(jsonData['results'])):
    if(jsonData['results'][k]['countryName'] == '中国'):
        provinceShortName = jsonData['results'][k]['provinceShortName']
        if("待明确地区" == provinceShortName):
            continue;
        confirmedCount = jsonData['results'][k]['confirmedCount']
        # 存储数据为键值对点形式（[['江苏', 492], ['安徽', 830]]）
        dataSource.append("['"+provinceShortName+"',"+str(confirmedCount)+"]")
        provinceShortNameList.append(provinceShortName)#省份名称简称
        confirmedCountList.append(confirmedCount)
        curedCount.append(jsonData['results'][k]['curedCount'])
        deadCountList.append(jsonData['results'][k]['deadCount'])
        # print(jsonData['results'][k]['provinceName'])#打印省份全称

print("data = "+str(dataSource).replace('"',''))#省份，确认人数集合data =[省份,确诊人数],[省份,确诊人数]...]
print("columns = "+str(provinceShortNameList))#省份集合
print("confirmedCount = "+str(confirmedCountList))#确诊人数集合
print("curedCount = "+str(curedCount))#治愈人数集合
print("deadCount = "+str(deadCountList))#死亡人数集合
    1. 保存本地

将从github爬到的数据保存到本地磁盘上。

  • 实现代码
# -*- coding: utf-8 -*-

"""
@File    : JsonCrawlerLocal.py
@Author  : fungis@163.com
@Time    : 2020/2/10 18:41
"""
# 数据下载地址
import datetime
import json
import requests


# 获取所有数据json文件


def download_Json(url):
    print("-----------正在下载json文件 %s" % (url))
    # try:
    # 将响应信息进行json格式化
    response = requests.get(url)
    versionInfo = response.text
    versionInfoPython = json.loads(versionInfo)

    # print(versionInfo)
    path = './file/data' + str(datetime.datetime.now().strftime('%Y%m%d')) + '.json'
    # 将json格式化的数据保存
    with open(path, 'w', encoding='utf-8') as f1:
        f1.write(json.dumps(versionInfoPython, indent=4))


# except Exception as ex:
#     print("--------出错继续----")
#     pass


# url = 'https://github.com/BlankerL/DXY-2019-nCoV-Data/blob/master/json/DXYArea.json'
url = 'https://raw.githubusercontent.com/BlankerL/DXY-2019-nCoV-Data/master/json/DXYArea.json'

# 获取疫情数据json文件
download_Json(url)
    1. 解析某省地级市的疫情数据（更新于2020-04-01）

这是一个基于本地下载好的，丁香园疫情github-JSON数据的解析。如果爬虫不能用可以手动复制到本地进行解析。本次以河南省为例，进行解析。

  • 实现代码（更新于2020-04-01）
# -*- coding: utf-8 -*-

"""
@Author  : fungis@163.com
@Time    : 2020/2/10 16:32
"""

import json

#数据下载地址
#https://github.com/BlankerL/DXY-2019-nCoV-Data/blob/master/json/DXYArea.json

#读取本地JSON数据
f = open("./file/dat/data20200401.json",
         encoding='utf-8')  # 设置以utf-8解码模式读取文件，encoding参数必须设置，否则默认以gbk模式读取文件，当文件中包含中文时，会报错
jsonData = json.load(f)

#用于存储数据的集合
dataSource = []
cityNameList = []
confirmedCountList = []
curedCount = []
deadCountList = []
#遍历对应的数据存入集合中
for k in range(len(jsonData['results'])):
    if(jsonData['results'][k]['countryName'] == '中国'):
        provinceShortName = jsonData['results'][k]['provinceShortName']
        #去除没有归属区域的数据
        if( "河南" != provinceShortName):
            continue;
        for j in range(len(jsonData['results'][k]['cities'])):
            confirmedCount = jsonData['results'][k]['cities'][j]['confirmedCount']
            # 存储数据为键值对点形式（[['江苏', 492], ['安徽', 830]]）
            cityName = jsonData['results'][k]['cities'][j]['cityName']
            if ("待明确地区" == cityName or '境外输入' == cityName):
                continue;

            dataSource.append("['"+cityName+"市',"+str(confirmedCount)+"]")
            cityNameList.append(cityName)#地级市名称
            confirmedCountList.append(confirmedCount)#确诊人数
            curedCount.append(jsonData['results'][k]['cities'][j]['curedCount'])#治愈人数
            deadCountList.append(jsonData['results'][k]['cities'][j]['deadCount'])#死亡人数
        # print(jsonData['results'][k]['provinceName'])#打印省份全称


print("data = "+str(dataSource).replace('"',''))#地级市，确认人数集合data =[[地级市,确诊人数],[地级市,确诊人数]...]
print("columns = "+str(cityNameList))#地级市集合
print("confirmedCount = "+str(confirmedCountList))#确诊人数集合
print("curedCount = "+str(curedCount))#治愈人数集合
print("deadCount = "+str(deadCountList))#死亡人数集合
  • 解析结果
河南省丁香园疫情数据解析结果-2020/02/11
    1. 结尾

喜欢的朋友们可以点个关注，后续将持续更新，精彩无限^ - ^

努力搬砖的giser
关注
  • 6
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
腾讯api获取各省疫情数据返回json格式
weixin_43175306的博客
11-16 697
腾讯api获取各省疫情数据返回json格式
python爬虫------从丁香园疫情首页提取世界各国的疫情数据
m0_56646269的博客
12-01 1361
菜鸟自学python记录 初级爬虫学习（在B站上看的“黑马程序员180分钟轻松获取疫情数据，Python爬虫入门课”，此次是自己跟着写的简易代码） import requests from bs4 import BeautifulSoup import re import json # 请求，获取需要解析的文本 response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia') home_page = response.conten
python爬取丁香园的疫情数据绘制Echarts地图
ssjdoudou的博客
01-24 1万+
2020.2.4更新 完整的项目工程地址https://github.com/Arithmeticjia/wuhan 2020.1.26更新 几乎每天页面都在变，放一下最新的爬虫代码，由于页面需要滚动，加入了selenium def china_wuhan(request): import requests from bs4 import BeautifulSoup ...
基于Python的新冠疫情可视化分析系统+08504（免费领源码）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文案
最新发布
BS53804的博客
06-07 732
本文综合运用Django技术、MySQL数据库技术，制作疫情趋势图和疫情对比图，用可视化的方式直观形象地呈现疫情数据，让民众更加直观清晰地获取关键的疫情信息。
每日一练：Python爬虫爬取全国新冠肺炎疫情数据实例详解，使用beautifulsoup4库实现
小蓝枣的博客
03-01 7358
Python 爬虫篇 - 爬取全国新冠肺炎疫情数据实例详解 效果图展示 第一章：疫情信息的下载与数据提取 ① 爬取丁香园页面数据到本地 ② json 字符串正则表达式分析 ③ 提取数据中的 json 字符串 第二章：疫情信息数据分析 ① 提取 json 字符串里的省份疫情数据并显示 ② 显示查询省份的城市疫情数据
Python爬取疫情数据
MoJair的博客
04-13 703
尝试爬取最新一天的疫情数据 import requests from bs4 import BeautifulSoup import re import json # 1.发送请求，获取疫情首页（数据来源于丁香园） response = requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia') home_page = response.content.decode() # 2.从疫情首页提取最近一日数据 soup = BeautifulSou
python 调用API接口 获取和解析 Json数据
12-17
step2：数据解析，也是核心部分，数据格式从python角度去理解，是字典？列表？还是各种嵌套？ step3：连接mysql数据库，将数据写入。 从功能上看，该数据获取程序可以分为3个方法，即step1对应方法request_data()，...
Python读取JSON数据操作实例解析
09-16
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。Python内置的`json`模块提供了方便的API来处理JSON数据。 1. **编码JSON数据**： - `json.dumps()`...
Python Json数据文件操作原理解析
09-16
在Python编程中，JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它基于JavaScript的一个子集，易于人阅读和编写，同时也易于机器解析和生成。JSON数据通常用于存储和传输数据，特别是在Web服务和...
Python使用内置json模块解析json格式数据的方法
12-25
本文实例讲述了Python使用内置json模块解析json格式数据的方法。分享给大家供大家参考，具体如下： Python中解析json字符串非常简单，直接用内置的json模块就可以，不需要安装额外的模块。 一、json字符串转为python...
使用Python解析JSON数据的基本方法
12-23
Python的json模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads() ， 要比其他序列化函数库如pickle的接口少得多。 下面演示如何将一个Python数据结构转换为JSON...
新冠疫情分析（疫情数据爬取+数据分析+网页排版展示）
热门推荐
wang_chun1的博客
08-10 3万+
新冠疫情来临，我简单的做一次疫情的数据分析温习我的python知识，也希望能帮到各位。分析中我用到的技术有：pyton爬取数据html+css将分析结果排版。用到的工具有excel+tableau进行数据处理分析和绘图。数据分析中还是存在很多的不足，很多地方有待提高，希望大家多多交流。 首先，我们要获取到数据，本次数据分析所需要的疫情数据来自https://ncov.dxy.cn。通过对网站的分析有世界的疫情数据和中国的疫情数据，所以我们要分别爬取到世界和全国的疫情数据。 好了，接下来废话不多说，为了更直
Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕（三）发送篇
分享既学习
02-12 1万+
今天介绍的项目是使用 Itchat 发送统计报告 项目功能设计： 定时爬取疫情数据存入Mysql 进行数据分析制作疫情报告 使用itchat给亲人朋友发送分析报告 基于Django做数据屏幕 使用Tableau做数据分析 来看看最终效果 目前已经完成，预计2月12日前更新 使用 itchat 发送数据统计报告 itchat 是一个基于 web微信的一个框架，但微信官方并不允许使用这...
武汉疫情系列(1)|java爬取丁香园|JAVA爬取丁香医生的全国新型肺炎疫情实时动态
小小鱼儿小小林的博客
02-02 5003
目录 前言 一、要爬取的内容 二、抓包数据 1、获取第一部分的数据：总共确诊、疑似、治愈和死亡人数 代码demo 2、获取第二部分数据：国内各个省市的数据 代码demo 3、获取全球各个国家的数据 代码demo 三、工具类 四、完整代码 前言 转眼已经到了2月份了，武汉的新型冠状病毒事件几乎席卷了咱们整个中国，甚至还传到了海外，可谓是全民都在为此事件做自己力所能及的事情，...
基于Python实现的全球新冠病毒数据分析
毕业作品网站
08-13 3278
找一个有全球新冠病毒数据的网站，爬取其中的数据（禁止使用数据接口直接获取数据）。要求爬取从 2020 年 12 月 1 日开始的连续 15 天的数据，国家数不少于 100 个。
python利用json读取疫情数据并打印
fen_fen的专栏
02-13 883
一.数据采集 先找到数据，对数据进行数据采集 数据来源：新浪疫情实时监测 URL: https://news.sina.cn/zt_d/yiqing0121 数据采集： 1.访问https://news.sina.cn/zt_d/yiqing0121 2.打开Chrome开发者工具，点开network，刷新页面，点击各个请求，找到获取取json的请求。 例如：附图 https://...
deqin -利用python进行疫情大数据分析
少儿编程侯老师的博客
03-20 2673
import requests import time import json import matplotlib .pyplot as plt # 导入数据 url = 'https://view.inews.qq.com/g2/getOnsInfo?name=wuwei_ww_cn_day_counts&callback=&_=%d' % int(time.time() * 1...
地区的json数据_肺炎病毒疫情数据爬取
weixin_39798497的博客
12-04 703
目标网站腾讯新闻提供的疫情实时追踪网站https://news.qq.com/zt2020/page/feiyan.htm如何抓取包含所有疫情信息的API以火狐浏览器为例，用火狐浏览器打开目标网站，按下F12进入web开发者模式，进入network模块并刷新网页：按类型进行排序，找到json格式的文件，网站从服务器获取数据的方法为get，从而锁定了三个请求：在消息头中找到相应的请求网址进行排查，从...
爬取疫情数据并保存为csv文件
missa_emperor的博客
03-13 4663
import requests import pandas as pd import os import json def get_page(url,headers): try: r=requests.get(url,headers=headers) r.raise_for_status() r.encoding=r.apparent_enc...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值