2018百度指数采集方法与工具

百度指数是以百度海量网民行为数据为基础的数据分享平台。在这里，你可以研究关键词搜索趋势、洞察网民兴趣和需求、监测舆情动向、定位受众特征。
历来百度指数的采集是爬虫界的梦魇，众多程序员也为采集百度指数绞尽脑汁，本人也经历了各个阶段。这里说说自己的实现经历：

（1）模拟曲线似合。

模拟曲线拟合是我实现的第一个版本。从上图可以看见，指定曲线有特定的颜色，因为可以用python的图片处理库在图表截中搜索特定的点。同时结合最右典的刻度尺，就能够大概推算出当天的指数值。

这种方式有如下缺陷：
a  - 指数在坡度变化大的地方推算出来的值误差较大。 

b -  需要处理的细节很多。如在A\B\C\D\E\F等拐点处，这几个点的颜色与线条的颜色完全一样，因此需要做特殊处理。

c - 找点颜色算法的效率。我当初采用的方案是从上到下、从右到右。先找到最左右的第一个点，然后在附近查询。因为点是连续的。一般情况下一定能找到一个就近点。若因图片或其它干扰因素没有找到怎么处理呢？ 那么就先找下一个点，然后推算出当前缺失的点。

流程一般是： 截图 -> 截取刻度尺-> 找点 -> 估值。

 

（2）图片文字识别

这种采集效率太低，而且准确率不高。

* 间隔时间1天误差:  0.1%

* 间隔时间10天误差: 0.2%  建议采用该间隔！

* 间隔时间30天误差：1%

 

（3）最近研究出来的新方法  （采集100%精准，而且采集速度很快。一个词只需要几秒钟）

由于工具包太大，这里不下载工具包。需要的朋友可自行下载：http://suo.im/5mHt1r

QQ: 494856288

交流群： 541484544

 

最近研究出最新的百度指数采集方案。可实时采集百度趋势指数（包括整体指数、PC指数、移动指数），媒体指数、需求图谱、资讯关注、人群画像。

支持天模式、周模式、月模式、年模式。输出为csv格式。

 

 

效果如下所示：

 

由于工具包太大，这里不下载工具包。需要的朋友可自行下载：http://suo.im/5mHt1r

QQ: 494856288

交流群： 541484544