Pythton3爬虫实战——肺炎疫情数据

爬虫思路

第一步 获取我们所需要的数据

腾讯、网易、丁香医生等平台都有此次疫情的实时数据。在爬取了各个平台的数据后发现丁香医生所返回的数据是静态的。想要在腾讯和网易爬取则需要使用selenium库的一些功能进行爬取,是较为麻烦的。于是选择了较为简单的丁香。使用 requests+BeautifulSoup爬取数据

def get_one_page(url):
    try:
        headers = {
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
        response = requests.get(url,headers=headers)
        response.encoding = 'utf-8' #此处要指定utf-8编码格式否则乱码
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, "html.parser")
            return soup
        return None
    except RequestException:
        return None
第二步 数据的处理

在爬到了含有我们想要数据的网页html代码后进行分析,进一步提取我们想要的数据(城市,确诊人数,死亡人数,治愈人数等等)

def main()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值