疫情数据爬取

转眼疫情已经三年，当时还没有在csdn上写，今年开始陆陆续续的写文章，今天整理资料，偶然之间发现了以前写的疫情的数据爬取，在此记录一下。

1. 国内各省份现有确诊、累计确诊、死亡、治愈；
2. 国内总数现有确诊、累计确诊、死亡、治愈、输入；
3. 国内近段时间每天的确诊数、疑似数、累计确诊数、现有确诊数、累计治愈数、累计死亡数
4. 全球各国确诊、死亡、治愈；
5. 全球总数确诊、死亡、治愈；

import json
import requests
import xlwt
import re
import os
from collections import Counter

if __name__ == "__main__":
    if not os.path.exists('./全国各地疫情数据'):
        os.mkdir('./全国各地疫情数据')

    # 全国省份
    province_name = ['北京', '上海', '江苏', '广东', '浙江', '陕西', '山西','河北','河南','湖北','湖南','安徽','山东','重庆','四川','辽宁',
                     '吉林','黑龙江','天津','福建','云南','贵州','青海','海南','西藏','广西','宁夏','甘肃','新疆','内蒙古','江西']

    for item in range(len(province_name)):
        province = province_name[item]
        url = 'https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?province='
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
        }
        data = {
            'province': province
        }
        page_text = requests.post(url=url, data=data, headers=headers).json()
        # fileName = province+'.json'
        # fp = open(fileName,'w',encoding='utf-8')
        # json.dump(page_text,fp=fp,ensure_ascii=False)
        data = page_text['data']
        # print(data)
        date_num = len(data)  # 计算总共的天数

        book = xlwt.Workbook(encoding='utf-8')
        sheet = book.add_sheet('疫情数据', cell_overwrite_ok=True)
        col_name = ['省份', '日期', '累计确诊', '累计死亡', '累计治愈', '境外输入']
        for i in range(0, 6):
            sheet.write(0, i, col_name[i])

        for i in range(date_num):
            sheet.write(i + 1, 0, province)
            y = data[i]['date'].split('.')[0]
            m = data[i]['date'].split('.')[1]
            sheet.write(i + 1, 1, y+'月'+m+'日')
            sheet.write(i + 1, 2, data[i]['confirm'])
            sheet.write(i + 1, 3, data[i]['dead'])
            sheet.write(i + 1, 4, data[i]['heal'])

            # 提取境外输入病例
            ex = '确诊病例(.*?)例 | 新增(.*?)例'

            match = re.findall(ex, data[i]['description'])

            if len(match) == 0:
                sheet.write(i + 1, 5, 0)
            else:
                sheet.write(i + 1, 5, int(match[0]))

        print('%s   爬取结束'%province)

        book.save('./全国各地疫情数据/'+province + '疫情数据' + '.xls')

    print('爬取结束----')

会在本地生成文件夹，然后将各地的疫情数据生成，对于大数据研究和练习有一定的帮助。

 如果帮到您，不妨点赞关注一下，谢谢。