Python爬虫学习分享
“The Website is the API."
“未来的所有信息都是通过website(网络)提供的。”
这次重大疫情,每时每刻数据都有可能变化,这篇博文将为大家讲解如何爬取实时疫情数据,并且分析数据,作出数据可视化的效果。
爬取网站数据
疫情网站有两种,一种是类似丁香园(https://ncov.dxy.cn/ncovh5/view/pneumonia)这种疫情数据可以通过网页右键检查源代码获取。
另一种是类似腾讯(https://news.qq.com/zt2020/page/feiyan.htm#/?nojump=1)这类网站的疫情数据是通过网页请求其他url,返回一个json格式的源数据再渲染到网页上显示,这类网站,你不能通过源代码找到这种json格式数据,需要通过检查的Network项里查找。
先是第一种,以丁香医生为例(https://ncov.dxy.cn/ncovh5/view/pneumonia)
#国内各省疫情情况
import requests
import re
def parse_url(page_url,f):
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'}
try:
r=requests.get(page_url,headers=headers,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
html = r.text
except:
print('访问失败')
# print(html)
#获取省或城市的信息,为避免遗漏省份,可以先将"provinceShortName"替换"cityName"再分析
html=re.sub(r'provinceShortName','cityName',html)
#再把关于中国的部分取出来
html=re.search('{ window.getAreaStat =.+?window.getIndexRecommendList2',html)
html=html.group()
# print(html)
cities=re.findall(r"""
{.*?"cityName":"(.+?)", #城市名称
"currentConfirmedCount":(-?\d+), #现存确诊
"confirmedCount":(\d+), #累计确诊
.+?"curedCount":(\d+), #治愈
"deadCount":(\d+) #死亡
""",html,re.VERBOSE|re.DOTALL)
# print(type(cities))
for city in cities:
city=list(city)
# print(city)
f.write('{},{},{},{},{}\n'.format(''.join(city[0]), ''.join(city[1]), ''.join(city[2]), ''.join(city[4]