Pythton3爬虫实战——肺炎疫情数据

最新推荐文章于 2021-08-12 22:38:41 发布

香猪王子

最新推荐文章于 2021-08-12 22:38:41 发布

阅读量1.9k

点赞数 6

分类专栏：爬虫 python 文章标签： python 可视化数据可视化

本文链接：https://blog.csdn.net/qq_30091249/article/details/104297974

版权

爬虫思路

第一步获取我们所需要的数据

腾讯、网易、丁香医生等平台都有此次疫情的实时数据。在爬取了各个平台的数据后发现丁香医生所返回的数据是静态的。想要在腾讯和网易爬取则需要使用selenium库的一些功能进行爬取，是较为麻烦的。于是选择了较为简单的丁香。使用 requests+BeautifulSoup爬取数据

def get_one_page(url):
    try:
        headers = {
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
        response = requests.get(url,headers=headers)
        response.encoding = 'utf-8' #此处要指定utf-8编码格式否则乱码
        if response.status_code == 200:
            soup = BeautifulSoup(response.text, "html.parser")
            return soup
        return None
    except RequestException:
        return None