Python爬虫学习分享(疫情数据爬取＋可视化)

Python爬虫学习分享

“The Website is the API."
“未来的所有信息都是通过website（网络）提供的。”

这次重大疫情，每时每刻数据都有可能变化，这篇博文将为大家讲解如何爬取实时疫情数据，并且分析数据，作出数据可视化的效果。

爬取网站数据

疫情网站有两种，一种是类似丁香园（https://ncov.dxy.cn/ncovh5/view/pneumonia）这种疫情数据可以通过网页右键检查源代码获取。
另一种是类似腾讯（https://news.qq.com/zt2020/page/feiyan.htm#/?nojump=1）这类网站的疫情数据是通过网页请求其他url，返回一个json格式的源数据再渲染到网页上显示，这类网站，你不能通过源代码找到这种json格式数据，需要通过检查的Network项里查找。

先是第一种，以丁香医生为例（https://ncov.dxy.cn/ncovh5/view/pneumonia）

#国内各省疫情情况
import requests
import re


def parse_url(page_url,f):

    headers = {
   
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}
    try:
        r=requests.get(page_url,headers=headers,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        html = r.text
    except:
        print('访问失败')

    # print(html)
    #获取省或城市的信息，为避免遗漏省份，可以先将"provinceShortName"替换"cityName"再分析
    html=re.sub(r'provinceShortName','cityName',html)
    #再把关于中国的部分取出来
    html=re.search('{ window.getAreaStat =.+?window.getIndexRecommendList2',html)
    html=html.group()
    # print(html)
    cities=re.findall(r"""
    {.*?"cityName":"(.+?)",                         #城市名称
    "currentConfirmedCount":(-?\d+),                  #现存确诊
    "confirmedCount":(\d+),                         #累计确诊
    .+?"curedCount":(\d+),                          #治愈
    "deadCount":(\d+)                               #死亡
    """,html,re.VERBOSE|re.DOTALL)

    # print(type(cities))
    for city in cities:
        city=list(city)
        # print(city)
        f.write('{},{},{},{},{}\n'.format(''.join(city[0]), ''.join(city[1]), ''.join(city[2]), ''.join(city[4])