相信很多人都看到了用python写动态条形图的文章了吧?
既然有了Python这个制作动态条形图工具,缺的那便是数据了。
先看一下B站2019年「数据可视化」版块的情况,第一个视频超2百万的播放量,4万+的弹幕。
用什么来衡量手游的热门程度呢,答案便是百度指数。
同样我使用的也是百度指数,百度指数是以百度海量网民行为数据为基础的数据分享平台。
所以本期就来聊一聊可视化视频的数据获取,主要是「百度指数」和「微博指数」。
本来想加上「微信指数」的,发现电脑的抓包软件出了问题,所以就没有加上。
01. 百度指数
获取百度指数,首先需要登陆你的百度账号。
以关键词「王者荣耀」为例,时间自定义为2020-10-01~2020-10-10。
通过开发者工具,我们就能看到曲线图的数据接口。
然而一看请求得到的结果,发现并没有数据,原因是这里使用了JS加密。
这可碰到小F的知识盲区了,果断选择去找度娘,各位有兴趣的同学也可自行百度。
最终找到解决方法,成功实现爬取,代码如下~
import time
import json
import execjs
import datetime
import requests
from urllib.parse import urlencode
def get_data(keywords, startDate, endDate, area):
"""
获取加密的参数数据
"""
# data_url = "http://index.baidu.com/api/SearchApi/index?area=0&word=[[%7B%22name%22:%22%E7%8E%8B%E8%80%85%E8%8D%A3%E8%80%80%22,%22wordType%22:1%7D]]&startDate=2020-10-01&endDate=2020-10-10"
params = {