prometheus+cadvisor监控docker

官方解释 cAdvisor（ContainerAdvisor）为容器用户提供了对其运行容器的资源使用和性能特性的了解。它是一个正在运行的守护程序，用于收集、聚合、处理和导出有关正在运行的容器的信息。具体来说，它为每个容器保存资源隔离参数、历史资源使用情况、完整历史资源使用的直方图和网络统计信息。该数据按容器和机器范围导出。

说白了其实和一般监控的agent类似，就是将容器内部的监控指标持久化存储然后web ui界面展示，结合prometheus+grafana更好的汇聚监控指标

1. docker部署

[root@zabbix cadvisor]# cat docker-cadvisor.yml 
version: "3.5"
services:
  cadvisor:
    image: harbor.od.com/prometheus/cadvisor:latest
    container_name: cadvisor
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:ro
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro
      - /dev/disk/:/dev/disk:ro
    ports:
      - 8088:8080
      
[root@zabbix cadvisor]# docker-compose -f docker-cadvisor.yml up -d    

1. 镜像地址 ，启动后访问http://ip:8088即可看到界面，包含内存、cpu、network、Filesystem等监控信息，
   

2. 查看不同容器数据修改访问后缀即可，比如查看jenkins访问地址为http://ip:8080/docker/jenkins，其他依次类推，web界面不是很方便，因为都是容器形成的字符串不好识别

3. Cgroups 的工作目录为/sys/fs/cgroup，Cgroups包含很多子系统，可以用来对不同的资源进行限制。例如对CPU、内存、PID、磁盘 IO等资源进行限制和监控

4. CPU、内存、网络等资源使用情况信息，是从 cgroup 文件系统中读取相应的文件，
   /sys/fs/cgroup/cpuacct/docker/[container_id]/cpuacct.usage、
   /sys/fs/cgroup/memory/docker/[container_id]/memory.usage_in_bytes、
   /sys/fs/cgroup/net_cls,net_prio/docker/[container_id]/net_cls.classid 等。
   磁盘 I/O、网络 I/O 等性能指标信息，则是从 proc 文件系统中的相应文件读取，例如 /proc/[container_pid]/io、/proc/[container_pid]/net/dev 等。

1635495936byte换算下来也就是1.635495936GB也接近如下docker stats所展示的

web页面获取到的和stats获取到的都是接近的数值

2. 配置prometheus

在prometheus.yml中添加cadvisor信息

scrape_configs:
  - job_name: 'cadvisor'
    scrape_interval: 15s
    static_configs:
    - targets: ['10.1.74.21:8088']

重新加载prometheus

1. 重启
docker restart prometheus

2. 重新加载配置文件
curl -X POST http://localhost:9090/-/reload

访问http://localhost:9090/targets即可查看对应的端点是否连通正常