流程
1.进入获取疫情的url
例如:
腾讯新闻的疫情网站 https://news.qq.com/zt2020/page/feiyan.htm#/
网易新闻:https://wp.m.163.com/163/page/news/virus_report/index.html_nw_=1&anw=1
只需要找到网站的url以及user-agent后,进入url查看json数据格式,按照步骤即可访问。
2.为了避免反爬,伪装成浏览器:
找到headers = {‘user-agent’ : ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.55’} ,进行浏览器访问。
3.分析url,找到数据存放的规律
4.进行数据读取和存储
爬取全球最新疫情数据
import requests #爬取网页
import json #json文件可以通过角标索引读取内容 爬取json文件
import xlwings as xw #导入excel
url = 'https://c.m.163.com/ug/api/wuhan/app/data/list-total?t=329822670771' #请求URL
headers = {'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.55'} #浏览器访问
response = requests.get(url , headers = headers)
#print(response.status_code) #200表示访问成功
#print(response.json()) # 打印内容
wb = xw.Book() #相当于打开excel操作
sht = wb.sheets('sheet1') #相当于在excel里加了一个工作表
sht.range('A1').values = '地区'
sht.range('B1').values = '新增确诊'
sht.range('C1').values = '累计确诊'
sht.range('D1').values = '死亡'
sht.range('E1').values = '治愈'
sht.range('F1').values = '日期'
在进入url分析数据格式后,将数据取出放入excel中。
json_data = response.json()[&