从丁香园获取疫情的最新资讯

最新推荐文章于 2020-04-09 09:18:36 发布
最新推荐文章于 2020-04-09 09:18:36 发布
阅读量983 收藏 4
点赞数
分类专栏： 萌新学习之路 python # 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44676081/article/details/104073284
版权
python 同时被 3 个专栏收录
92 篇文章 4 订阅
订阅专栏
萌新学习之路
42 篇文章 1 订阅
订阅专栏
爬虫
35 篇文章 4 订阅
订阅专栏 
import requests
import time
import re
from bs4 import BeautifulSoup
import pymysql


class Virus(object):
    def __init__(self):
        super().__init__()
        self.url = "https://3g.dxy.cn/newh5/view/pneumonia"
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36"}

    def get_html(self) -> str:
        """获取网站的html"""
        with requests.session() as s:
            response = s.get(self.url, headers=self.header, timeout=5)
            response.encoding = response.apparent_encoding
            if response:
                # with open("index.html", 'w',encoding='utf-8') as file:
                #     file.write(response.text)
                return response.text

    def covert_timestamp(self, timestamp) -> str:
        """对时间戳进行转化"""
        timestamp = int(timestamp[:-3])  # 这里是因为这个网站中的时间戳后面的三位是可以忽略的
        print(timestamp)
        localtime = time.localtime(timestamp)
        date = time.strftime("%Y-%m-%d %H:%M:%S", localtime)
        return date

    def get_picture(self):
        flag = True
        pattern = re.compile(r'<img class="mapImg___3LuBG" src="(.*?)">', re.S)
        src = re.findall(pattern, self.get_html())

        if not src:  # 如果没有找到
            print("未查找到相关内容，请联系作者更新")
            return

        if not os.path.exists('疫情地图.png'):
            with open("疫情地图.png", "wb") as png:
                png.write(requests.get(src[0]).content)
        else:
            while flag:
                choice = input("原疫情地图已存在，是否覆盖: (y/n)  ")
                if choice in ["Y", "y"]:
                    with open("疫情地图.png", "wb") as png:
                        png.write(requests.get(src[0]).content)
                        flag = False
                elif choice in ["N", 'n']:
                    return
                else:
                    print("输入错误，请重新输入")

    def get_des(self) -> dict:
        pattern = re.compile(r'<div class="mapTop___2VZCl">(.*?)</div>')
        des_div = re.findall(pattern, self.get_html())
        # print(des_div[0])
        soup = BeautifulSoup(des_div[0], 'lxml')
        p_list = soup.findAll('p')
        des_text_list = []
        for p in p_list:
            des_text_list.append(p.get_text())
        return {"description": des_text_list}

    def get_detail(self) -> dict:
        div = BeautifulSoup(self.get_html(), 'lxml').findAll(
            "div", {"class": "descBox___3dfIo"})[0]
        detail_text_list = []
        for p in div.find_all("p"):
            detail_text_list.append(p.get_text())
        return {"detail": detail_text_list}

    def get_broadcast(self) -> list:
        """"获取实时播报"""
        div_list = BeautifulSoup(self.get_html(), 'lxml').find_all(
            "div", {"class": "block___wqUAz"})
        info_list = []
        for div in div_list:

            time = div.find_all("span", {"class": "leftTime___2zf53"})[
                0]
            if time.find("span"):
                time = time.find("span").get_text()
            else:
                time = time.get_text()

            title = div.find_all("p", {"class": "topicTitle___2ovVO"})[
                0].get_text()

            if "最新" in title:
                title = title[2:]

            content = div.findAll("p", {"class": "topicContent___1KVfy"})[
                0].get_text()

            topicFrom = div.find_all("p", {"class": "topicFrom___3xlna"})[
                0].get_text()
            data = {
                "time": time,
                "title": title,
                "content": content,
                "from": topicFrom
            }
            info_list.append(data)
        return info_list

    def get_all_time(self):
        """"获取之前存在数据库中所有的时间数据"""
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = "SELECT time FROM detail"
        cursor.execute(sql)
        result = cursor.fetchall()
        connect.commit()
        cursor.close()
        connect.close()
        return [i[0] for i in result]

    def check_lastest(self):
        """"判断是否存在最新的消息"""
        new = [i for i in self.get_broadcast()][0]
        new_time = new.get("time")
        if new_time not in self.get_all_time():
            print("有新的实时播报")
            for i in new:
                print(new[i])
            self.insert(new.get("time"), new.get("title"), new.get("content"),
                        new.get("from"))

            print("\n目前 湖南，上海的情况如下：")
            hunan = self.get_city_detail("湖南")
            shanghai = self.get_city_detail("上海")
            print(hunan, shanghai, sep="\n")
        else:
            print("暂无最新消息")

    @staticmethod
    def create_database():
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = "CREATE TABLE IF NOT EXISTS detail(time TEXT, title TEXT, content TEXT, contentFrom TEXT)"
        cursor.execute(sql)
        connect.commit()
        cursor.close()
        connect.close()

    @staticmethod
    def insert(time, title, content, contentFrom):
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = 'INSERT INTO detail(time, title,content,contentFrom)\
         VALUES("%s","%s","%s","%s")' % (time, title, content, contentFrom)
        # 需要加引号，否则不能通过
        # cursor.execute(sql, (time, title, content, contentFrom))
        cursor.execute(sql)
        connect.commit()
        cursor.close()
        connect.close()

    def upload_data(self):
        info = self.get_broadcast()
        for data in info[::-1]:
            self.insert(data["time"], data["title"], data["content"],
                        data["from"])

    @staticmethod
    def get_first_data():
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = "SELECT * FROM detail LIMIT 1"
        data = cursor.execute(sql)
        data = data.fetchall()
        connect.commit()
        cursor.close()
        connect.close()
        print(data)

    def get_city_detail(self, city):
        for detail in self.get_detail()["detail"]:
            if city in detail:
                return detail


if __name__ == "__main__":
	"""just for test"""
    virus = Virus()
    # virus.get_picture()

    # virus.upload_data()
    # city = virus.get_city_detail("湖南")
    # print(city)
    virus.check_lastest()

在获取最新消息的同时，可以发送邮件到自己的邮箱(参考这篇文章)之中，然后将程序在服务其中不断的跑，便可以及时获取网页中最新的消息

！！！目前网站的结构发生变化，此方法不能正确获取信息！！！


更新之后采取下面代码：

import requests
import os
import time
import re
from bs4 import BeautifulSoup
import pymysql
import json


class Virus(object):
    def __init__(self):
        super().__init__()
        self.url = "https://3g.dxy.cn/newh5/view/pneumonia"
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36"}
        self._html = None
        self.home_html()

    def get_html(self, url) -> str:
        """获取网站的html"""
        with requests.session() as s:
            response = s.get(url, headers=self.header, timeout=5)
            response.encoding = response.apparent_encoding
            if response:
                return response.text

    def home_html(self):
        """将网页的内容存储起来，方便之后引用"""
        self._html = self.get_html(self.url)

    def get_picture(self):
        flag = True
        pattern = re.compile(r'<img class="mapImg___3LuBG" src="(.*?)">', re.S)
        src = re.findall(pattern, self._html)

        if not src:  # 如果没有找到
            print("未查找到相关内容，请联系作者更新")
            return

        if not os.path.exists('疫情趋势图.png'):
            with open("疫情趋势图.png", "wb") as png:
                png.write(requests.get(src[0]).content)
        else:
            while flag:
                choice = input("原疫情趋势图已存在，是否覆盖: (y/n)  ")
                if choice in ["Y", "y"]:
                    with open("疫情趋势图.png", "wb") as png:
                        png.write(requests.get(src[0]).content)
                        flag = False
                elif choice in ["N", 'n']:
                    return
                else:
                    print("输入错误，请重新输入")

    def get_des(self) -> dict:
        pattern = re.compile(r'<div class="mapTop___2VZCl">(.*?)</div>')
        des_div = re.findall(pattern, self._html)
        # print(des_div[0])
        soup = BeautifulSoup(des_div[0], 'lxml')
        p_list = soup.findAll('p')
        des_text_list = []
        for p in p_list:
            des_text_list.append(p.get_text())
        return {"description": des_text_list}

    def get_area_stat(self):
        pattern = re.compile(r'window.getAreaStat = (.*?)}catch')
        json_text = re.findall(pattern, self._html)[0]
        return json.loads(json_text)

    def upload_area_stat(self) -> None:
        """"将获取到的省份城市的信息存储在数据库中"""
        state = self.get_area_stat()
        for info in state:
            cities = info.popitem()
            self.insert_to_province(info)
            for city in cities[1]:
                city["provinceShortName"] = info.get("provinceShortName")
                self.insert_to_city(city)

    def get_broadcast(self) -> list:
        """"获取实时播报"""
        url = "https://assets.dxycdn.com/gitrepo/bbs-mobile/dist/p__Pneumonia__timeline.async.4363ba04.js"
        html = self.get_html(url)
        pattern = re.compile(r"JSON.parse\('(.*?)'\)}", re.M)
        json_text = re.findall(pattern, html)[0].encode('utf-8').decode(
            "unicode_escape")
        return json.loads(json_text)

    def get_left_broadcast(self):
        pattern = re.compile(r"window.getTimelineService =(.*?)}catch")
        json_text = re.findall(pattern, self._html)[0]
        return json.loads(json_text)

    @staticmethod
    def get_all_id():
        """"获取之前存在数据库中所有的时间数据"""
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = "SELECT id FROM broadcast"
        cursor.execute(sql)
        result = cursor.fetchall()
        connect.commit()
        cursor.close()
        connect.close()
        return [i[0] for i in result]

    def check_latest(self) -> None:
        """"判断是否存在最新的消息,在这里假设的是处于不断的运行之中，
        所以只需要每次判断第一个便可以了"""
        new = [i for i in self.get_left_broadcast()][0]
        new_time = new.get("id")
        if new_time not in self.get_all_id():
            print("有新的实时播报")
            print("title: {}".format(new.get("title")))
            print("summary: {}".format(new.get("summary")))
            self.insert(new)

            print("\n目前 湖南，上海的情况如下：")
            hunan = self.get_city_detail("湖南")
            shanghai = self.get_city_detail("上海")
            print(hunan, shanghai, sep="\n")
        else:
            print("暂无最新消息")

    @staticmethod
    def create_database() -> None:
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = "CREATE TABLE IF NOT EXISTS broadcast(id INTEGER NOT NULL , " \
              "pubDate varchar(20) , title TEXT, summary TEXT, infoSource " \
              "varchar(40), sourceUrl TEXT, provinceId varchar(20), " \
              "provinceName varchar(20), createTime varchar(20), modifyTime " \
              "varchar(20)); "
        cursor.execute(sql)

        sql = "create table province(provinceName varchar(20)," \
              "provinceShortName varchar(20),confirmedCount INT," \
              "suspectedCount INTEGER, curedCount INTEGER," \
              "deadCount INTEGER,comment TEXT);"
        cursor.execute(sql)

        sql = "create table city(provinceShortName varchar(20),cityName " \
              "varchar(20),confirmedCount INTEGER,suspectedCount INT," \
              "curedCount INT,deadCount INTEGER); "
        cursor.execute(sql)

        connect.commit()
        cursor.close()
        connect.close()

    def insert(self, info) -> None:
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = 'INSERT INTO broadcast(id, pubDate, title, summary, infoSource, ' \
              'sourceUrl, provinceId, provinceName, createTime, modifyTime) ' \
              'VALUES("%s","%s","%s","%s","%s","%s","%s","%s","%s","%s")' % (
                  info.get("id"), self.convert_timestamp(info.get("pubDate")),
                  info.get("title"),
                  info.get("summary"),
                  info.get("infoSource"), info.get("sourceUrl"),
                  info.get("provinceId"),
                  info.get("provinceName"),
                  self.convert_timestamp(info.get('createTime')),
                  self.convert_timestamp(info.get("modifyTime")))
        # 需要加引号，否则can not通过
        cursor.execute(sql)
        connect.commit()
        cursor.close()
        connect.close()

    def upload_data(self) -> None:
        info = self.get_broadcast()
        for data in info[::-1]:
            self.insert(data)

    def upload_left_data(self) -> None:
        """"主页和实时播报页面的并没有同步,另外插入"""
        left_info = self.get_left_broadcast()
        id_list = self.get_all_id()
        for info in left_info[::-1]:
            if info.get("id") not in id_list:
                self.insert(info)

    @staticmethod
    def convert_timestamp(timestamp) -> str:
        """对时间戳进行转化"""
        timestamp = timestamp / 1000  # 这里是因为这个网站中的时间戳后面的三位是可以忽略的
        localtime = time.localtime(timestamp)
        date = time.strftime("%Y-%m-%d %H:%M:%S", localtime)
        return date

    def insert_to_province(self, info) -> None:
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = 'INSERT INTO province(provinceName, provinceShortName, ' \
              'confirmedCount, suspectedCount,curedCount, deadCount, comment) ' \
              'VALUES("%s","%s","%s","%s","%s","%s", "%s")' % (
                  info.get("provinceName"),
                  info.get("provinceShortName"),
                  info.get("confirmedCount"),
                  info.get("suspectedCount"),
                  info.get("curedCount"),
                  info.get("deadCount"),
                  info.get("comment"))
        cursor.execute(sql)
        connect.commit()
        cursor.close()
        connect.close()

    def get_city_detail(self, city) -> str:
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = 'SELECT * FROM province where provinceShortName="%s"' % city
        cursor.execute(sql)
        result = cursor.fetchone()
        connect.commit()
        cursor.close()
        connect.close()
        result = "在%s 确诊的有 %d 人，疑似 %d 人，死亡 %d 人，成功治愈 %d 人" % (
            result[1], result[2], result[3], result[4], result[6])
        return result

    @staticmethod
    def insert_to_city(info):
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = 'INSERT INTO city(provinceShortName, cityName, confirmedCount, ' \
              'suspectedCount, curedCount, deadCount) ' \
              'VALUES("%s","%s","%s","%s","%s","%s")' % (
                  info.get("provinceShortName"),
                  info.get("cityName"),
                  info.get("confirmedCount"),
                  info.get("suspectedCount"),
                  info.get("curedCount"),
                  info.get("deadCount"))
        cursor.execute(sql)
        connect.commit()
        cursor.close()
        connect.close()

    def refresh_province_city(self):
        connect = pymysql.connect("localhost", 'root', 'Edgar', 'edgar')
        cursor = connect.cursor()
        sql = 'truncate table city;'
        cursor.execute(sql)
        sql = 'truncate table province;'
        cursor.execute(sql)
        connect.commit()
        cursor.close()
        connect.close()
        self.upload_area_stat()



if __name__ == "__main__":
    virus = Virus()

    # virus.get_picture()

    virus.create_database()

    # print(virus.get_des())

    # print(virus.get_area_stat())

    # virus.upload_area_stat()

    # print(virus.get_broadcast())

    # print(virus.get_left_broadcast())

    # print(virus.get_all_id())

    # virus.check_latest()

    # virus.upload_data()
    # virus.upload_left_data()

    # print(virus.get_city_detail("上海"))

    # virus.check_latest()

    virus.refresh_province_city()

运行程序之后部分结果如下:

provinceNameprovinceShortNameconfirmedCountsuspectedCountcuredCountdeadCountcomment
湖北省湖北54903124
广东省广东53020
浙江省浙江43010
北京市北京36010
重庆市重庆27000
湖南省湖南24000
上海市上海20010
四川省四川15000
山东省山东15000
安徽省安徽15000
广西壮族自治区广西13000
福建省福建10200福建地区新增疑似 2 例（漳州 1 例；三明 1 例）
河南省河南9000
江苏省江苏9000
海南省海南8000
天津市天津8000
江西省江西7000
陕西省陕西5000
黑龙江省黑龙江4001
辽宁省辽宁4000
贵州省贵州3000
吉林省吉林3000
云南省云南2000
宁夏回族自治区宁夏2000
香港香港2000
澳门澳门2000
河北省河北2001
甘肃省甘肃2000
新疆维吾尔自治区新疆2000
台湾台湾1000
山西省山西1000
内蒙古自治区内蒙古1000
青海省青海0100西宁新增疑似 1 例
provinceShortNamecityNameconfirmedCountsuspectedCountcuredCountdeadCount
湖北武汉49503123
湖北孝感22000
湖北黄冈12000
湖北荆州8000
湖北荆门8000
湖北仙桃2000
湖北宜昌1001
湖北十堰1000
广东深圳15020
广东珠海8000
广东佛山7000
广东广州7000
广东惠州5000
广东韶关3000
广东阳江3000
广东湛江2000
广东中山2000
广东肇庆1000
广东清远1000
浙江台州18000
浙江杭州6000
浙江温州6010
浙江宁波5000
浙江嘉兴3000
浙江衢州2000
浙江舟山1000
浙江绍兴1000
浙江金华1000
北京外地来京人员10000
北京海淀6000
北京朝阳5000
北京西城4000
北京昌平3000
北京大兴2010
北京丰台2000
北京通州2000
北京石景山1000
北京顺义1000
重庆万州区3000
重庆巫山县3000
重庆长寿区3000
重庆垫江县2000
重庆永川区2000
重庆九龙坡区2000
重庆渝北区2000
重庆开州区2000
重庆涪陵区1000
重庆大渡口区1000
重庆忠县1000
重庆云阳县1000
重庆奉节县1000
重庆巫溪县1000
重庆秀山县1000
重庆两江新区1000
湖南长沙8000
湖南永州4000
湖南怀化3000
湖南岳阳3000
湖南娄底3000
湖南郴州1000
湖南株洲1000
湖南湘潭1000
四川成都7000
四川广安2000
四川绵阳2000
四川达州1000
四川德阳1000
四川遂宁1000
四川雅安1000
山东青岛4000
山东威海2000
山东临沂2000
山东济南2000
山东烟台2000
山东潍坊1000
山东日照1000
山东济宁1000
安徽合肥6000
安徽六安2000
安徽阜阳2000
安徽滁州1000
安徽亳州1000
安徽安庆1000
安徽池州1000
安徽蚌埠1000
广西北海6000
广西柳州2000
广西桂林2000
广西梧州1000
广西百色1000
广西河池1000
福建福州5000
福建厦门3000
福建泉州1000
福建宁德1000
河南郑州3000
河南巩义2000
河南洛阳1000
河南三门峡1000
河南信阳1000
河南周口1000
江苏南京3000
江苏苏州2000
江苏连云港1000
江苏扬州1000
江苏南通1000
江苏无锡1000
海南海口3000
海南三亚2000
海南万宁2000
海南临高县1000
江西南昌2000
江西抚州1000
江西萍乡1000
江西九江1000
江西新余1000
江西吉安1000
陕西西安2000
陕西咸阳1000
陕西安康1000
陕西延安1000
黑龙江牡丹江1000
黑龙江哈尔滨1000
黑龙江大庆1000
黑龙江绥化1001
辽宁沈阳2000
辽宁大连1000
辽宁朝阳1000
贵州贵阳1000
贵州铜仁1000
贵州黔南州1000
吉林长春1000
吉林吉林1000
吉林松原1000
云南昆明2000
宁夏银川1000
宁夏中卫1000
河北石家庄1000
河北沧州1001
甘肃兰州1000
甘肃白银1000
山西太原1000
内蒙古满洲里1000


最新代码见 GitHub

、Edgar
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用丁香园数据生成疫情分布地图（R语言）
万里写入胸怀间
02-13 6843
疫情牵动大家，不过就个人而言，目前也没法做得更多。 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用...
Cov2019分析：2020.06.23前的丁香园的疫情数据分析
02-13
1. 数据获取与预处理：丁香园作为知名的医疗健康平台，其发布的疫情数据具有较高的可靠性和时效性。首先，我们需要从丁香园的公开接口或数据发布平台下载相关数据，这可能涉及到网络请求和数据抓取技术。然后，数据...
Python获取丁香园疫情数据并解析json数据
fungis
04-08 8401
Python爬取丁香园疫情数据并解析json数据 在利用pyecharts V1.x版本，使用Map对象进行制图时，对数据格式的要求比较高，如果数据格式不正确可能达不到我们预期的效果。在我的前一篇文章中介绍了如何利用丁香园疫情数据制作地图，今天就为大家说下如何爬取、解析数据。 地址解析 丁香园Github-疫情数据下载地址 https://github.com/BlankerL/DX...
Java 实现新型肺炎疫情数据爬虫 + 数据持久化
芋艿V
01-28 5057
点击上方“芋道源码”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创 | Java 2019 超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络...
新型肺炎实时动态，疫情地图……互联网公司在行动
机器学习算法与Python学习
01-25 1万+
综合整理：程序员的那些事（id：iProgrammer）参考：雷锋网、cnBeta、腾讯、新浪等值此特殊时期，汇总近日国内互联网公司在抗击疫情方面所做的事，仅部分，并非全部。0、腾讯新闻...
R语言获取丁香园疫情数据动态网站
yuanzhoulvpi的博客
01-28 1万+
R语言获取丁香园疫情数据（动态网站） 前篇数据可视化，数据获取都是靠的别人给的api，但是，中国人就喜欢自力更生。​经过我尝试几次，原来R爬取动态网站也很简单。​呼噜噜，接下来就让我们来试一试如何做： ​第一步，安装软件： 这里主要用到的肯定是​R和Rstudio，唯一需要的是安装一个软件叫phantomjs和写一个js文件。 phantomjs​可以从这个网站上下载：https://phanto...
疫情数据爬虫及可视化小组合作项目对丁香园疫情数据进行爬取
10-21
疫情数据爬虫及可视化小组合作项目对丁香园疫情数据进行爬取，以及使用echarts进行可视化，使用python，flask框架.zip
定时爬取丁香园冠状病毒新型肺炎疫情实时数据.zip
最新发布
04-18
包括两个方面，一方面，要搞清楚它从哪来，到哪去，作为一个蛋白，怎么样寄生，怎么样对人的健康产生威胁，以及怎么样从动物身上来。目的就是不要再发生类似疫情，以及如果发生了如何应对。另一方面，要制定一个科学...
基于python的疫情数据爬虫及可视化源码+项目说明（丁香园疫情数据爬取+echarts可视化+flask框架）.zip
01-24
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等...基于python的疫情数据爬虫及可视化源码+项目说明（丁香园疫情数据爬取+echarts可视化+flask框架）.zip
python爬取丁香园的疫情数据绘制Echarts地图
ssjdoudou的博客
01-24 1万+
2020.2.4更新 完整的项目工程地址https://github.com/Arithmeticjia/wuhan 2020.1.26更新 几乎每天页面都在变，放一下最新的爬虫代码，由于页面需要滚动，加入了selenium def china_wuhan(request): import requests from bs4 import BeautifulSoup ...
教你如何编写第一个爬虫
CSDN资讯
02-18 4031
2019年不管是编程语言排行榜还是在互联网行业，Python一直备受争议，到底是Java热门还是Python热门也是一直让人争吵的话题。随着信息时代的迭代更新，人工智能的兴起，Pytho...
用正则爬取新型肺炎疫情情况
qq_20090113的博客
01-23 4130
最近新型肺炎闹得很厉害，于是我就自己写了一个爬虫，爬取最新疫情的情况。 什么是爬虫？ 爬虫也就是网络蜘蛛，是一种按照一定的规则，自动爬取万维网的信息的程序或者脚本。 它是怎么工作的？ 其实就是通过脚本，向服务器发起访问请求，然后得到服务器返回的结果后，就会返回内容。如果还不明白的话，可以看一下小品： 用户：爬虫，去给我爬取网站上的内容！ 爬虫：好的。 （爬虫找到服务器） 爬虫：我能...
with open()的使用方法
weixin_43507682的博客
11-15 6366
1.用途：是python用来打开本地文件的，他会在使用完毕后，自动关闭文件，无需手动书写close() 2.用法： with open (file = "你要打开的路径名（或保存内容的地址）"，mode = "r/w/a"，encoding = "utf-8") as f1: data = f1.read/write() print(data) 3.关于mde的三...
新型肺炎数据爬取与分析实战
Carroll的博客
02-29 975
文章目录导包爬取数据数据清洗数据分析数据可视化DataFrame数据存入MySQL数据库将数据存成CSV/XLSX 文件DataFrame数据存成csv文件DataFrame数据存成xlsx文件 导包 import requests import json import pandas as pd 爬取数据 #爬取数据 #json.loads()是用来读取字符串的，即，可以把文件打开，用readl...
我编写的肺炎疫情数据API的实现过程
热门推荐
邓占勇的博客
04-09 2万+
天天在家还是要找点事情做，我相信很多程序员都想要疫情数据，我也不例外，开始我还想着去爬去其他网站的数据。尝试了一下很麻烦还费时，于是我找到了一个api接口，该接口包含了今日数据、历史数据、各省/市数据，但是他们全部都是在一个JSON数据中，使用起来很不方便。 为了大家更好的调用，我对这个数据进行处理后保存到了自己的数据库中，并开放出了自己的接口，更加的方便灵活，具体如下： 注：所有...
程序人生 - 如何预防新型肺炎？
牧码的博客
01-24 2237
【#春节期间如何预防新型肺炎#】新型冠状病毒来势汹汹，我们应该如何做好防范？#口罩剪碎扔#？选合适的口罩，要能“防飞沫”；口罩正确戴法，吹吸“不漏气”；洗手六步法，一步也不要省；外出回家要消毒，冠状病毒不耐高温！怕酒精！减少外出，居家隔离与他人接触，保持一米距离，潜伏期最长14天！ ...
我建议你自己写一个疫情数据监控
GitHubDaily
02-01 5570
首先，请允许我向此次新型冠状病毒感染的肺炎疫情中的每一位逝者表示哀悼。虽然我们还在相互拜年祝愿着 “新年快乐”，但 2020 这个 “新年” 不论如何也无法叫人 “快乐” 起来。突如其来...
新型肺炎交叉点即将到来，数据显示传染率上限
《人工智能原理与实践》作者
02-05 8751
更多专业的人工智能相关文章，微信搜索 : robot-learner ， 或扫码 下面的数据来自截至2020年2月3号凌晨的国家官方通报数据。 1. 下图反映了每日累计确诊数量变化和累计疑似病例的按天变化情况 可以发现疑似数量一直领先确诊数量，但近几日已有增速减慢趋势。 我们把两个数字相减，可以发现更明显的趋势。如下图： 上图很明显看...
丁香园短文本理解技术在医疗健康领域的应用
在工业落地的尝试思路方面，文档可能介绍了丁香园作为中国领先的医疗领域连接者，是如何将短文本理解应用于其产品线中的。例如，丁香医生平台利用短文本理解技术提供精准的科普信息和咨询服务；丁香妈妈专注于母婴...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值