点击上方蓝
字关注~
最近将Flink集群从1.6升级到1.8,主要是为了使用1.8的两个特性:一个是universal kafka ,另外一个是rocksdb ttl, 然后注意到1.8 提供了Influxdb 的reporter, 在最开始1.6使用的rest api方式主动请求对应的metric, 使用这种方式目前有两个弊端:
前期使用metric比较少,自己通过开发图表展示,但是后期需要新的metric 都需要开发一次
客户端使用轮询的方式去请求,如果任务比较多就会造成一定延时,并且实时平台在做高可用情况下,涉及定时的切换,给系统开发带来一定复杂性
面对这两个问题选择了influxdb+grafana的方式,也应该是很多公司选择的方案,当然也有选择Prometheus 的,接下来介绍一下将flink metric 上报influxdb部署的步骤:
将flink安装包下面opt目录的flink-metrics-influxdb-1.8.2.jar包拷贝至lib目录下面
在flink-conf.yaml 中增加配置,
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: localhost //influxdb服务所在的地址
metrics.reporter.influxdb.port:8086//influxdb 端口
metrics.reporter.influxdb.db: flink //influxdb库名称
metrics.reporter.influxdb.username: flink-metrics
metrics.reporter.influxdb.password: qwerty