利用谷歌开源工具cAdvisor 结合influxdb存储＋Grafana前端展示进行Docker容器的监控

1.cAdvisor (Container Advisor)该程序是由Google 开源的一个项目。提供了给使用容器的用户对其主机上运行容器的资源使用情况和性能的了解，它是一个以容器方式运行的守护进程，用来数据采集、汇聚、可视化和导出运行中容器的信息。具体来说，对于每个容器，它保留资源的隔离参数，历史资源使用，完整历史资源使用的直方图，和网络统计。此数据由机器上的容器输出。

2.InfluxDB（官网）是一个由Go编写的开源数据库，专门用于处理具有高可用性和高性能要求的时间序列数据。InfluxDB安装没有外部依赖，可以在几分钟内完成，然而它的灵活性、可扩展性足够复杂的部署。具有实时分析、历史分析、预测分析、异常检测等特点。

3.Grafana（官网）提供了一个强大而优雅的方式来创建、探索，并可以共享仪表板和数据。也是用于查询、可视化时间序列和指标的主要工具。支持的数据源有Graphite、Prometheus、Elasticsearch、InfluxDB、OpenTSDB、AWS CloudWatch等，并且在4.0及更高版本中加入了警报功能（but现在只支持一些数据源。它们包括Graphite，Prometheus，InfluxDB和OpenTSDB）。目前报警规则只有Graph面板支持，Table和Singlestat会在未来版本中出现。支持的通知方式有Email、即时通讯工具Slack、Webhook等。

三、监控部署

1.创建第一个容器influxdb

docker run -d -p 8083:8083 -p 8086:8086 --expose 8090 --expose 8099 --name influxsrv -e PRE_CREATE_DB=cadvisor tutum/influxdb

注：默认情况下，InfluxDB使用以下网络端口：

　　TCP端口8083用于InfluxDB的管理面板
　　TCP端口8086用于通过InfluxDB的HTTP API进行客户端 - 服务器的通信

创建完成后，打开浏览器，访问http://ip:8083，默认用户名，密码是root、root，如下图

2.创建cAdvisor容器并将其link到InfluxDB容器

docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --publish=8080:8080 --detach=true --link influxsrv:influxsrv --name=cadvisor  docker.io/google/cadvisor  -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086

3.创建Grafana容器并将其链接到InfluxDB容器：

docker run -d -p 3000:3000 -e INFLUXDB_HOST=localhost -e INFLUXDB_PORT=8086 -e INFLUXDB_NAME=cadvisor -e INFLUXDB_USER=root -e INFLUXDB_PASS=root --link influxsrv:influxsrv --name grafana docker.io/grafana/grafana

4.打开浏览器，访问http://ip:3000/ Grafana界面

5.登录上去后，将Influxdb设置为Grafana的数据源，按照下图添加：

之后点击Add data source，add增加。信息如下：

最后保存测试连接。

6.我们使用Grafana设置我们的第一个Dashboard，并可视化来自cAdvisor的数据。

首先，添加一个Dashboard：

然后新建一个graph，如下图：

先设置Graph中的每个标题选项，如下：

General：

　　Title：Memory

　　Height：300px

Metrics：输入查询语句及选择数据源，default 已经是influxdb，可以不用设置（点击 可切换模式 ）。

　　query 1: SELECT mean("value") FROM "memory_usage" WHERE container_name='cadvisor' AND container_name='cadvisor' AND $timeFilter GROUP BY time($interval), "container_name" fill(previous)

　　ALIAS BY：$tag_container_name.memory

　　Format as：Time series

Axes：主要修改一下Y轴的 显示单位

　　Left Y-->Unit：bytes、Y-Min：0

Legend：可以在图标左下方显示统计的最大、最小、及平均值等。

Display：主要修改下显示的波浪线或者点，还可以修改区域的显示深度（可以按个人喜好）

　　Mode Options-->Fill：4、LineWidth：2

修改设置完成后，记得点击正上面的保存按钮。完整的一个dashboard就出来了。如下图：

点击ADD ROW ，可以增加其它监控Graph、Table、Text等。剩下需要监控的如CPU、磁盘IO、网络IO。创建方式和上面基本一致，除了左Y轴那里需要注意下单位。

7.完整的几个图，以及查询语句如下：

cpu 查询：

SELECT derivative(mean("value"), 10s) FROM "cpu_usage_total" WHERE container_name='cadvisor' AND $timeFilter GROUP BY time($interval), container_name fill(previous)

 

网络 i/o 查询：
tx：

SELECT derivative(mean("value"), 10s)/8 FROM "tx_bytes" WHERE container_name='cadvisor' AND $timeFilter GROUP BY time($interval), container_name fill(previous)

rx：

SELECT derivative(mean("value"), 10s)/8 FROM "rx_bytes" WHERE container_name='cadvisor' AND $timeFilter GROUP BY time($interval), container_name fill(previous)

 

文件系统使用及limit：

fs

SELECT mean("value") FROM "fs_usage" WHERE container_name='cadvisor' AND container_name='cadvisor' AND $timeFilter GROUP BY time($interval), "container_name" fill(previous)

limit

SELECT mean("value") FROM "fs_limit" WHERE container_name='cadvisor'  AND $timeFilter GROUP BY time($interval), "container_name" fill(previous)