本文并不是讲解爬虫的相关技术实现的,而是从实用性的角度,将抓取并存入 MongoDB 的数据 用 InfluxDB 进行处理,而后又通过 Grafana 将爬虫抓取数据情况通过酷炫的图形化界面展示出来。
在开始之前,先对 Grafana 和 InfluxDB 做一下简要的介绍:
Grafana:是一个开源的分析和监控系统,拥有精美的web UI,支持多种图表,可以展示influxdb中存储的数据,并且有报警的功能。
Influxdb :是一款开源的时间序列数据库,专门用来存储和时间相关的数据(比如我用它存储某个时间点爬虫抓取信息的数量)。
最终能实现的效果是这样的:
请注意以下操作,都是 Mac 下实现的。但是原理是相似的,你可以在自己的 PC 上进行试验。
2. 安装配置 InfluxDB
安装 InfluxDB
修改配置文件/usr/local/etc/influxdb.conf,如果原文件中没有对应配置项,需自己添加。
<