python爬取当日疫情信息并存储为json文件

 

信息来源：https://ncov.dxy.cn/ncovh5/view/pneumonia

 

一.爬取目标网站，将所有国内数据存储在json文件内，命名为当前日期。

步骤：
1）请求目标网站。
2）获取响应的html页面。
3）利用正则表达式在获取的页面查找相应内容，并进行数据清洗。
4）将读取内容存储为json文件。

 

（一）请求目标网站和获取响应页面

import requests


# 网页路径
url = 'https://ncov.dxy.cn/ncovh5/view/pneumonia'
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
}

response = requests.get(url, headers=headers)  
print(response.status_code)  # 打印状态码

# 更推荐使用response.content.deocde()的方式获取响应的html页面
url_text = response.content.decode()  

（二）定位需要提取的内容

（1）寻找需要提取的信息所在位置

右键查看网页源代码，需要提取的部分如下：

（2）利用正则表达式查找（使用re.search()函数）：

上一步爬取返回的html页面为url_text，url_content为要提取的部分，则：

# re.search()：扫描字符串以查找正则表达式模式产生匹配项的第一个位置 ，然后返回相应的match对象。
"""
# re.search(pattern, string, flags=0)函数源码：

def search(pattern, string, flags=0):
    # Scan through string looking for a match to the pattern, 
    # returning a match object, or None if no match was found.

    return _compile(pattern, flags).search(string)

"""

# 在字符串a中，包含换行符\n，在这种情况下：如果不使用re.S参数，则只在每一行内进行匹配。
# 而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，在整体中进行匹配。

url_content = re.search(r'window.getAreaStat = (.*?)}]}catch', url_text, re.S)


texts = url_content.group()  # 获取匹配正则表达式的整体结果

（三）对提取的内容进行数据清洗，保留下需要的内容。

上一步提取的texts值如下（1），若要能存储为json文件，则需要去掉头部和尾部不符合格式的内容。这里使用字符串的replace方法。处理完数据内容如（2）。

content = texts.replace('window.getAreaStat = ', '').replace('}catch', '')  # 去除多余的字符

（1）处理前：

window.getAreaStat = 
[
    {"provinceName": "香港"...},
    // ...
]
}catch