Flink per-Job模式InfluxdbReporter上报JobName

点击上方蓝

字关注~

      

最近将Flink集群从1.6升级到1.8，主要是为了使用1.8的两个特性：一个是universal kafka ，另外一个是rocksdb ttl, 然后注意到1.8 提供了Influxdb 的reporter, 在最开始1.6使用的rest api方式主动请求对应的metric, 使用这种方式目前有两个弊端：

• 前期使用metric比较少，自己通过开发图表展示，但是后期需要新的metric 都需要开发一次

• 客户端使用轮询的方式去请求，如果任务比较多就会造成一定延时，并且实时平台在做高可用情况下，涉及定时的切换，给系统开发带来一定复杂性

面对这两个问题选择了influxdb+grafana的方式，也应该是很多公司选择的方案，当然也有选择Prometheus 的，接下来介绍一下将flink metric 上报influxdb部署的步骤:

1. 将flink安装包下面opt目录的flink-metrics-influxdb-1.8.2.jar包拷贝至lib目录下面

2. 在flink-conf.yaml 中增加配置,

    
    
    

     
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
     
metrics.reporter.influxdb.host: localhost //influxdb服务所在的地址
     
metrics.reporter.influxdb.port:8086//influxdb 端口
     
metrics.reporter.influxdb.db: flink //influxdb库名称
     
metrics.reporter.influxdb.username: flink-metrics
     
metrics.reporter.influxdb.password: qwerty