Flink的计数功能探索

最新推荐文章于 2023-12-26 11:15:27 发布

Bazingaea

最新推荐文章于 2023-12-26 11:15:27 发布

阅读量2.2k

点赞数

分类专栏： flink 文章标签： flink count

本文链接：https://blog.csdn.net/bazingaea/article/details/103069179

版权

本文探讨了在Apache Flink中实现全局计数的方法，包括Metric、Accumulators & Counters以及keyBy+sum算子。Metric和Accumulators在作业结束时才能获取结果，不适合实时统计。而keyBy+sum算子则能实现不同类别数据的实时计数，通过log输出并在sink中存取，确保在并发环境下也能保持全局统计的准确性。

摘要由CSDN通过智能技术生成

探索flink计数功能，欢迎指正！！

使用场景：需要对经过算子处理后的DataStream中不同类型的数据进行全局统计个数（正解见第三种）

1.Metric

参考地址：https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html#datadog-orgapacheflinkmetricsdatadogdatadoghttpreporter

flink提供了一套指标，既可以定义自己的，也可以获取官方的，获取官方的指标（需要配置report以log的方式输出，怎么在程序中获取没有研究明白）。定义自己指标的方式：

public class MyMapper extends RichMapFunction<String, String> {
  private transient Counter counter;

  @Override
  public void open(Configuration config) {
    this.counter = getRuntimeContext()
      .getMetricGroup()
      .counter("myCounter");
  }

  @Override
  public String map(String value) throws Exception {
    this.counter.inc();
    return value;
  }
}

inc代表增1，dec代表减1，但是这里的统计值是针对一个task的，也就是说统计值并不是全局的数值，不满足场景需求。换句话说如果我的一个job开启了3个task&#