Flink的Accumulator即累加器,与Saprk Accumulator 的应用场景差不多,都能很好地观察task在运行期间的数据变化
可以在Flink job任务中的算子函数中操作累加器,但是只能在任务执行结束之后才能获得累加器的最终结果。spark的累加器用法.
Flink中累加器的用法非常的简单:
1:创建累加器: val acc = new IntCounter();
2:注册累加器: getRuntimeContext().addAccumulator("accumulator", acc );
3:使用累加器: this.acc.add(1);
4:获取累加器的结果: myJobExecutionResult.getAccumulatorResult("accumulator")
下面看一个完整的demo:
package flink
import org.apache.flink.api.common.accumulators.IntCounter
import org.apache.flink.api.common.functions.RichMapFu
本文介绍了Flink的Accumulator(累加器)功能,类似于Spark的Accumulator,用于在任务执行过程中观察数据变化。通过四个步骤详细阐述了如何创建、注册、使用和获取累加器结果,并提供了一个完整示例。在Flink任务完成后,可以通过UI界面查看累加器信息。
订阅专栏 解锁全文
4186

被折叠的 条评论
为什么被折叠?



