python爬虫学习：可视化监控你的爬虫

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本文章来自腾讯云 作者：python学习教程

想要学习Python？有问题得不到第一时间解决？来看看这里“1039649593”满足你的需求，资料都已经上传至文件中，可以自行下载！还有海量最新2020python学习资料。
点击查看

相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。

1.成品图

这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的方式不一样而已， 如下图。

可以实现对爬虫数量，增量，大小，大小增量的实时监控

6. 存数据
InfluxDb数据库的数据有一定的格式，因为我都是利用python库进行相关操作，所以下面将在python中的格式展示一下：



所以，到这里，如何将爬虫的相关属性存进去呢？以MongoDB为例

那么现在我们已经往数据里存了数据了，那么接下来要做的就是把存的数据展示出来。

7.展示数据
7.1 配置数据源
以admin登录到Grafana的后台后，我们首先需要配置一下数据源。点击左边栏的最下面的按钮，然后点击DATA SOURCES，这样就可以进入下面的页面：

点击ADD DATA SOURCE，进行配置即可，如下图：

其中，name自行设定；Type 选择InfluxDB；url为默认的http://localhost:8086， 其他的因为我前面没有进行配置，所以默认的即可。然后在InfluxDB Details里的填入Database名，最后点击测试，如果没有报错的话，则可以进入下一步的展示数据了；

7.2 展示数据
点击左边栏的+号，然后点击GRAPH

接着点击下图中的edit进入编辑页面：