使用Flink Metric Reporter 对flink任务指标进行监控

从flink1.8版本开始，reporter支持了将指标数据写入influxdb，用户可以自研可视化系统读取influxdb中的数据进行可视化。

但是对中小型公司来讲，可能因为成本原因，大多并不会选择自研可视化，我们选择grafana进行flink metrics的可视化。

本文主要重点讲述influxdb、prometheus为Reporter，将flink的metrics数据写入外部系统，并使用grafana进行可视化。

安装配置方式手把手教学，如下：

1. influxdb

1.1 启动

docker run -p 8086:8086 \
    -v /data/docker_volume/influxdb:/var/lib/influxdb \
    influxdb

1.2 连接influxdb

docker exec -it e9b352ee20d4 influx

1.3 建库

create database flink

1.4 建用户

create user "flink" with password 'pwd_123' with all privileges;

2. Prometheus

2.1 下载prometheus和pushgateway

https://prometheus.io/download/

2.2 安装

分别解压prometheus和pushgateway

2.3 配置

vim prometheus.yml 
在末尾新增：

  # pushgateway
  - job_name: 'pushgateway'
    scrape_interval: 10s
    honor_labels: true #加上此配置exporter节点上传数据中的⼀些标签将不会被pushgateway节点的相同标签覆盖 
    static_configs:
     - targets: ['localhost:9091']