从0到1Flink的成长之路(十一)

最新推荐文章于 2021-07-26 22:09:06 发布

熊老二-

最新推荐文章于 2021-07-26 22:09:06 发布

阅读量119

点赞数 1

分类专栏： Flink 文章标签： flink

本文链接：https://blog.csdn.net/weixin_51329630/article/details/117536714

版权

本文介绍了Flink的高级特性，包括累加器用于观察任务运行时数据变化，广播变量减少shuffle操作提高性能，以及分布式缓存用于存储外部静态数据。详细阐述了每种特性的API用法、注意事项和实际应用场景。

摘要由CSDN通过智能技术生成

高级特性

在Flink 批处理中提供类似Spark框架的高级特性，比如累加器、广播变量和分布式缓存。

1 累加器

API

Flink中的累加器，与Mapreduce counter的应用场景类似，可以很好地观察task在运行期间的
数据变化，如在Flink job任务中的算子函数中操作累加器，在任务执行结束之后才能获得累加器
的最终结果。
Flink有以下内置累加器，每个累加器都实现了Accumulator接口。

IntCounter

LongCounter

DoubleCounter

编码步骤:

1.创建累加器
private IntCounter numLines = new IntCounter();
2.注册累加器
getRuntimeContext().addAccumulator("num-lines", this.numLines);
3.使用累加器
this.numLines.add(1);
4.获取累加器的结果
myJobExecutionResult.getAccumulatorResult("num-lines")

代码实现:

package xx.xxxxx.flink.other;
import org.apache.flink.api.common.JobExecutionResult;
import org.apache.flink.api.common.accumulators.IntCounter;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.MapOperator;
import org.apache.flink.configuration.Configuration;
/**
* 演示Flink中累加器Accumulator使用，统计处理的条目数
*/
public class BatchAccumulatorDemo {
public static void main(String[] args) throws Exception {
// 1. 执行环境-env
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
// 2. 数据源-source
DataSource<String> dataSet = env.readTextFile("datas/u.data");
// 3. 数据转换-transformation
// map 函数，对数据不进行任何操作，仅仅为了使用累加器
MapOperator<String, String> resultDataSet = dataSet.map(new RichMapFunction<String, String>() {
// TODO: 其一、创建累加器
IntCounter counter = new IntCounter();
@Override
public void open(Configuration parameters) throws Exception {
// TODO: 其二、注册累加器
getRuntimeContext().addAccumulator("number-lines