爬取疫情数据并存到mysql数据库

最新推荐文章于 2024-05-04 09:38:05 发布
最新推荐文章于 2024-05-04 09:38:05 发布
阅读量2.2k 收藏 57
点赞数 34
分类专栏： python网络爬虫 文章标签： 数据库 mysql python 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57421630/article/details/127057505
版权

📋 个人简介

  • 💖 作者简介：大家好，我是阿牛，全栈领域优质创作者。😜
  • 📝 博主的个人网站：阿牛的博客小屋🔥
  • 🎉 支持我：点赞👍+收藏⭐️+留言📝
  • 📣 系列专栏：python网络爬虫🍁
  • 💬格言：要成为光，因为有怕黑的人！🔥
    请添加图片描述

目录

前言

因为我做的项目需要一些疫情数据，因此在这里总结一下数据获取以及将其保存到数据库，对网络爬虫学习者还是有帮助的。

需求分析

我们需要获取的内容是某新闻报告官网的这个国内疫情数据，包含总体数据以及各省市数据以及每天的数据及变化！

目标网站如下：https://news.qq.com/zt2020/page/feiyan.htm#/

在这里插入图片描述
如图：要获取的api有两个，第一个链接是各省市的详情数据，第二个是近30天的历史数据。

在这里插入图片描述
如图，数据是树状的，需要我们看好一层层提取，可借助json格式化工具！
最后将其保存到mysql数据库！

项目技术

爬虫-获取数据
pymysql - 连接数据库
mysql - 保存数据

数据库设计

ER图

在这里插入图片描述

建表sql

详细数据表

CREATE TABLE `details` (
  `id` int NOT NULL AUTO_INCREMENT,
  `update_time` datetime DEFAULT NULL COMMENT '数据最后更新时间',
  `province` varchar(50) DEFAULT NULL COMMENT '省',
  `city` varchar(50) DEFAULT NULL COMMENT '市',
  `confirm` int DEFAULT NULL COMMENT '累计确诊',
  `now_confirm` int DEFAULT NULL COMMENT '现有确诊',
  `confirm_add` int DEFAULT NULL COMMENT '新增确诊',
  `wzz_add` int DEFAULT NULL COMMENT '新增无症状',
  `heal` int DEFAULT NULL COMMENT '累计治愈',
  `dead` int DEFAULT NULL COMMENT '累计死亡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=528 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

历史数据表

CREATE TABLE `history` (
  `ds` datetime NOT NULL COMMENT '日期',
  `confirm` int DEFAULT NULL COMMENT '累计确诊',
  `confirm_add` int DEFAULT NULL COMMENT '当日新增确诊',
  `local_confirm` int DEFAULT NULL COMMENT '现有本土确诊',
  `local_confirm_add` int DEFAULT NULL COMMENT '本土当日新增确诊',
  `local_no_infect` int DEFAULT NULL COMMENT '现有本土无症状',
  `local_no_infect_add` int DEFAULT NULL COMMENT '本土当日新增无症状',
  `heal` int DEFAULT NULL COMMENT '累计治愈',
  `heal_add` int DEFAULT NULL COMMENT '当日新增治愈',
  `dead` int DEFAULT NULL COMMENT '累计死亡',
  `dead_add` int DEFAULT NULL COMMENT '当日新增死亡',
  PRIMARY KEY (`ds`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

pymysql连接数据库

# mysql建立连接
def get_con():
    # 建立连接
    con = pymysql.connect(host="127.0.0.1",
                          user="root",
                          password="",
                          db="",
                          charset="utf8")
    # 创建游标
    cursor = con.cursor()
    return con, cursor


# mysql关闭连接
def close_con(con, cursor):
    if cursor:
        cursor.close()
    if con:
        con.close()

password和db请配置成你的！

爬虫设计

爬虫需要模块

  • requests
  • json
  • random

因为需要多次爬取，因此我搭建了ip代理池和ua池

# ip代理池
ips = [{"HTTP": "175.42.129.105"}, {"HTTP": "121.232.148.97"}, {"HTTP": "121.232.148.72"}]
proxy = random.choice(ips)

# headers池
headers = [
    {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
    },
    {
        'user-agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36"
    },
    {
        'user-agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:22.0) Gecko/20130328 Firefox/22.0"
    }
]
header = random.choice(headers)

爬取数据本身没有难度，数据提取比较费劲，请借助json格式化工具看清楚！

代码与展示

import traceback
import requests
import json
import time
import random
import pymysql
# ip代理池
ips = [{"HTTP": "175.42.129.105"}, {"HTTP": "121.232.148.97"}, {"HTTP": "121.232.148.72"}]
proxy = random.choice(ips)

# headers池
headers = [
    {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
    },
    {
        'user-agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36"
    },
    {
        'user-agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:22.0) Gecko/20130328 Firefox/22.0"
    }
]
header = random.choice(headers)

# 返回历史数据和当日详细数据
def get_tencent_data():
    # 当日详情数据的url
    url1 = "https://api.inews.qq.com/newsqa/v1/query/inner/publish/modules/list?modules=localCityNCOVDataList,diseaseh5Shelf"
    # 历史数据的url
    url2 = "https://api.inews.qq.com/newsqa/v1/query/inner/publish/modules/list?modules=chinaDayListNew,chinaDayAddListNew&limit=30"

    r1 = requests.get(url=url1, headers=header,proxies=proxy).text
    r2 = requests.get(url=url2, headers=header,proxies=proxy).text

    # json字符串转字典
    data_all1 = json.loads(r1)['data']['diseaseh5Shelf']
    data_all2 = json.loads(r2)['data']

    # 历史数据
    history = {}
    for i in data_all2["chinaDayListNew"]:
        # 时间
        ds = i["y"] + '.' + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间  结果是时间元祖
        ds = time.strftime("%Y-%m-%d", tup)  # 改变时间输入格式，不然插入数据库会报错，数据库是datatime格式
        confirm = i["confirm"]
        local_confirm = i["localConfirm"]
        local_no_infect = i["noInfectH5"]
        heal = i["heal"]
        dead = i["dead"]
        history[ds] = {"confirm": confirm, "local_confirm": local_confirm, "local_no_infect": local_no_infect ,"heal": heal, "dead": dead}
    for i in data_all2["chinaDayAddListNew"]:
        ds = i["y"] + '.' + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        ds = time.strftime("%Y-%m-%d", tup)  # 改变时间输入格式，不然插入数据库会报错，数据库是datatime格式
        confirm_add = i["confirm"]
        local_confirm_add = i["localConfirmadd"]
        local_no_infect_add = i["localinfectionadd"]
        heal_add = i["heal"]
        dead_add = i["dead"]
        history[ds].update({"confirm_add": confirm_add, "local_confirm_add": local_confirm_add,"local_no_infect_add":local_no_infect_add, "heal_add": heal_add, "dead_add": dead_add})

    # 当日详细数据
    details = []
    update_time = data_all1["lastUpdateTime"]
    data_country = data_all1["areaTree"][0]
    data_province = data_country["children"]  # 中国各省
    for pro_infos in data_province:
        province = pro_infos["name"]  # 省名
        for city_infos in pro_infos["children"]:
            city = city_infos["name"]
            # 累计确珍人数
            confirm = city_infos["total"]["confirm"]
            # 现有确诊人数
            now_confime = city_infos["total"]["nowConfirm"]
            # 新增确诊人数
            confirm_add = city_infos["today"]["confirm"]
            # 新增无症状
            wzz_add = city_infos["today"]["wzz_add"]
            if wzz_add == '':
                wzz_add = 0
            else:
                wzz_add = int(wzz_add)
            # 累计治愈人数
            heal = city_infos["total"]["heal"]
            # 累计死亡人数
            dead = city_infos["total"]["dead"]
            details.append([update_time, province, city, confirm, now_confime, confirm_add,wzz_add, heal, dead])
    return history, details

# mysql建立连接
def get_con():
    # 建立连接
    con = pymysql.connect(host="127.0.0.1",
                          user="root",
                          password="",
                          db="",
                          charset="utf8")
    # 创建游标
    cursor = con.cursor()
    return con, cursor


# mysql关闭连接
def close_con(con, cursor):
    if cursor:
        cursor.close()
    if con:
        con.close()


# 插入及更新每日details数据
def update_details():
    cursor = None
    con = None
    try:
        lis = get_tencent_data()[1]  # 0是历史数据，1是当日详细数据
        con, cursor = get_con()
        sql = "insert into details (update_time,province,city,confirm,now_confirm,confirm_add,wzz_add,heal,dead) values (%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        sql_query = "select update_time from details order by id desc limit 1"
        # 执行sql语句
        cursor.execute(sql_query)
        query_data = cursor.fetchone()
        # 判断表中是否有数据以及对比当前最大时间是否相同
        # query_data[0] 中时间数据类型是datetime.datetime，li[0][0] 中时间数据类型是str
        if query_data == None or str(query_data[0]) != lis[0][0]:
            print(f"{time.asctime()} 开始更新数据")
            for item in lis:
                cursor.execute(sql, item)
            con.commit()  #提交事务
            print(f"{time.asctime()} 更新到最新数据")
        else:
            print(f"{time.asctime()} 已是最新数据！")
    except:
        #traceback模块不仅可以返回错误，还可以返回错误的具体位置
        traceback.print_exc()
    finally:
        close_con(con, cursor)

#插入及更新更新历史数据
def update_history():
    cursor = None
    con = None
    try:
        dic = get_tencent_data()[0] #0代表历史数据字典
        print(f"{time.asctime()} 开始更新历史数据")
        con,cursor = get_con()
        sql = "insert into history values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        sql_query = "select confirm from history where ds=%s"
        for k,v in dic.items():
            # 判断最新时间的数据是否在数据表中，不在更新数据
            if not cursor.execute(sql_query,k):
                cursor.execute(sql, [k, v.get("confirm"), v.get("confirm_add"), v.get("local_confirm"),
                                     v.get("local_confirm_add"), v.get("local_no_infect"), v.get("local_no_infect_add"),
                                     v.get("heal"), v.get("heal_add"),
                                     v.get("dead"), v.get("dead_add")])
        con.commit()
        print(f"{time.asctime()} 历史数据更新完毕")
    except:
        traceback.print_exc()
    finally:
        close_con(con,cursor)


if __name__ == "__main__":
    # print(get_tencent_data())

    # 插入、更新每日details数据
    update_details()
    # 插入、更新历史数据
    update_history()

在这里插入图片描述
在这里插入图片描述

代码执行说明

先在mysql数据库中执行sql语句建表，然后修改代码中的数据库配置，然后运行代码即可！

结语

之所以做这个是因为我的项目需要数据！
正好我最近做的项目完工了，已开源。
项目地址：https://gitee.com/aniu-666/project
项目拿走不谢，还请给个star💖

爱音斯坦牛
关注
  • 34
    点赞
  • 踩
  • 57
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 28
    评论
专栏目录
基于python+MySQL的疫情数据分析及可视化.zip
01-15
本系统主要是基于Python语言和数据库进行分析制作和可视化。 项目实现效果可打开以下项目说明进行查看。项目说明：https://blog.csdn.net/vx1271487114/article/details/122493044?spm=1001.2014.3001.5502
django+mysql新冠疫情数据分析系统-计算机毕业设计源码67684
vx1_Biye_Design的博客
07-06 237
（1）用户模块:用户模块包括用户登录注册模块、疫情资讯模块、疫情政策模块、行程登记模块、核酸检测预约模块、数据模块。 登录注册模块:账号和密码、验证码进行登录。个人中心,可查看个人资料; 疫情资讯模块:首页包含整个城市、全国内的疫情具体数据情况,首页可点击进入全国高、中、低风险区的城市名单,点击各模块可进入相应的大内容模块以查看更多。展示最新疫情情况,可对资讯进行收藏和点赞。 疫情政策模块:可以查看最新疫情的政策,并收藏和点赞。 行程登记模块:去过中高风险地区可以进行登记。每日打卡,可上传健康码和行程码。
py爬取疫情数据并存入mysql，web展示数据
weixin_45986945的博客
05-22 1586
爬取疫情相关数据，py连接mysql，echarts制表
python爬虫疫情数据到MySQL再到可视化
yanqing5603691的博客
12-23 2051
python爬虫疫情数据到MySQL 出于群成员的再三说辞决定把自己爬虫的过程记录分享出来，这是第一次写csdn，还望大家只品内容，切勿喷格式。 主要过程分为以下几点 1.爬取疫情数据 2.MySQL建立数据库表 3.truncate表以及插入表数据 4.根据表关系可视化数据 1.爬取疫情数据 数据来源，话不多说先上链接[添加链接描述](https://ncov.dxy.cn/n...
疫情数据实时可视化平台 python爬虫+Flask+Echarts+mysql 计算机毕业设计 源码下载
十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
12-10 1774
疫情数据实时可视化平台 python爬虫+Flask+Echarts+mysql 计算机毕业设计 源码下载
使用python爬取疫情数据
01-21
可以看到这里确实是有各个地区的疫情数据的 python3实现获取数据 实际上这个请求并没有什么反爬取的东西，我们直接爬取就可以了 首先就是url url = 'https://c.m.163.com/ug/api/wuhan/app/data/list-total' 为了...
python 爬取疫情数据的
09-18
主要介绍了python 爬取疫情数据,，程序源码简单易懂，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
Python：爬取疫情每日数据
12-22
前言 问题1：需要我的Excel 由于疫情已经趋于稳定，所以我不会再...2、另外全国卫健委的数据格式一直在变，也有可能会导致爬取失败！ 代码 import requests from bs4 import BeautifulSoup import datetime import re
scrapy爬取疫情数据
06-04
scrapy爬取百度疫情数据平台 数据存入数据库，需要首先配置数据库， scrapy startproject yqsj 命令行执行代码文件 项目是国内国外疫情数据，爬取执行时间长，需要耐心等待
Python大作业爬取疫情数据并且做图程序源码+PPT报告.zip
06-20
Python大作业爬取疫情数据并且做图程序源码+PPT报告.zip 【资源介绍】 python作业，爬取疫情数据并且做图 具体要求： 大作业内容： 访问并读取网站数据并保存为本地文档，对数据进行预处理如去除无效数据，进行数据...
15组学生疫情打卡系统.rar
06-12
是学校的一次C#大作业，由学校每天的疫情体温打卡来得到提示，小白初级练手，只是实现了基本的连接数据库，实现添加和查询功能，一个简单的数据库应用开发
基于python获取2019-nCoV疫情实时追踪数据.rar
02-19
基于python获取2019-nCoV疫情实时追踪数据.rar，最新版，更新到2020.2.19号，有全国的，每日新增，及每日累计的
【爬虫 + 可视化】Python 爬取疫情并可视化处理数据（爬虫入门案例）
qqqQQQ1117的博客
09-18 4550
爬虫基本流程jsonrequests 爬虫当中 发送网络请求pandas 表格处理 / 保存数据pyecharts 可视化首先我们介绍一下什么是爬虫。什么是爬虫？网络爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站.样子好像一只大蜘蛛.
Python+Flask实现全国、全球疫情大数据可视化（一）：爬取疫情数据并保存至mysql数据库
热门推荐
Demonslzh的博客
06-27 7万+
文章目录一、实现效果二、数据获取地址注意1：需要获取的字段注意2：json数据格式标准化注意3：外国国家名称转转换为英文三、数据保存四、完整项目获取 Python+Flask实现全国、全球疫情大数据可视化（二）：爬取数据并保存至mysql数据库 一、实现效果 最近简单学习了一下flask，决定来做一个疫情大数据的网页出来。 话不多说先上效果图。还是比较喜欢这样的排版的。 二、数据获取地址 数据来源于百度提供的api接口。直接在百度搜索疫情数据。就能看到国内疫情与国外疫情两个内容了。然后进入网页去找接口。那
50 行代码获取疫情实时数据，发送可视化图表到邮箱
程序员白楠楠的博客
08-25 2213
前言： 近期受新冠病毒疫情影响，很多小伙伴还没有复工，而且是现在是疫情爆发的危险期， 专家也呼吁大家尽量不要出门，虽然每天在家，但是我们还是每天密切的关注疫情的情况， 希望疫情能够及早得到控制。作为一个程序员，在家里也闲不住。 于是想着通过python来获取疫情的实时数据，生成可视化图表发送到邮箱， 如果你也感兴趣，那么请往下看，下面有详细的教程（并附上了完整的代码）， 总的说来三步即可完成，除开注释，总计代码也就50来行 实现步骤： 第一步：数据获取 第二步：生成可视化图
史上最全的疫情历史数据
wang_chun1的博客
01-02 6363
各个省份新冠肺炎疫情的历史数据
新冠疫情历史数据（贵州）
wang_chun1的博客
12-31 823
贵州省历史疫情数据
大数据分析实训——使用Spark SQL分析美国新冠肺炎疫情
CSDN_张子
06-02 2664
项目思路： 使用Spark SQL读取文件数据集来生成Data Frame对象，再利用Spark SQL函数对Data Frame对象进行数据分析，并将结果存入MySQL数据库，再以Web网页的形式对分析结果进行可视化，其中使用Spring Boot读取数据库把数据以JSON形式返回给Vue，ECharts对JSON结果进行分析，得到图表。 项目环境： JDK(v11.0.13) Spark(v3.2.1) Scala(v2.13.8) Spring Boot(v2.6.7) Vue(v3.2.23) EC
Redis 实战之压缩列表
最新发布
奔走的蚂蚁的博客
05-04 805
压缩列表是一种为节约内存而开发的顺序型数据结构。压缩列表被用作列表键和哈希键的底层实现之一。压缩列表可以包含多个节点，每个节点可以保存一个字节数组或者整数值。添加新节点到压缩列表， 或者从压缩列表中删除节点， 可能会引发连锁更新操作， 但这种操作出现的几率并不高。
利用python爬取新浪疫情数据并放入数据库
05-24
可以使用 Python 中的 BeautifulSoup 和 requests 库来爬取新浪疫情数据，并使用 MySQL 或者 MongoDB 等数据库进行存储。 以下是一个示例代码： ```python import requests from bs4 import BeautifulSoup import pymysql # 获取新浪疫情数据页面 url = 'https://news.sina.com.cn/2019-ncov/global-' res = requests.get(url) # 解析页面内容 soup = BeautifulSoup(res.text,'html.parser') # 获取全球疫情数据表格 table = soup.find('table', {'class': 'table'}) # 获取表格中的所有行 rows = table.find_all('tr') # 连接数据库 conn = pymysql.connect(host='localhost', port=3306, user='root', password='123456', db='covid19', charset='utf8mb4') # 创建游标 cur = conn.cursor() # 循环插入数据到数据库 for row in rows[1:]: # 获取每行数据 data = row.find_all('td') # 提取数据 country = data[0].text.strip() confirmed = int(data[1].text.strip().replace(',', '')) deaths = int(data[2].text.strip().replace(',', '')) recovered = int(data[3].text.strip().replace(',', '')) # 插入数据到数据库 sql = "INSERT INTO covid19 (country, confirmed, deaths, recovered) VALUES (%s, %s, %s, %s)" val = (country, confirmed, deaths, recovered) cur.execute(sql, val) conn.commit() # 关闭连接 cur.close() conn.close() ``` 在上述代码中，我们首先使用 requests 库发送 GET 请求获取新浪疫情数据页面，然后使用 BeautifulSoup 库解析页面内容，获取全球疫情数据表格，并使用 find_all() 方法获取表格中的所有行。 接着，我们使用 pymysql 库连接 MySQL 数据库，并使用游标插入数据到数据库中。在插入数据时，我们首先提取每行数据的国家、确诊数、死亡数和治愈数，并使用 INSERT INTO 语句将数据插入到数据库中。 最后，我们关闭游标和数据库连接。 需要注意的是，在运行代码之前需要先创建数据库和表，代码中的数据库名为 covid19，表名为 covid19，表结构如下： ```sql CREATE TABLE covid19 ( id INT(11) NOT NULL AUTO_INCREMENT PRIMARY KEY, country VARCHAR(255) NOT NULL, confirmed INT(11) NOT NULL, deaths INT(11) NOT NULL, recovered INT(11) NOT NULL ) ``` 以上代码仅供参考，具体实现需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 28
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱音斯坦牛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值