高级特性
在Flink 批处理中提供类似Spark框架的高级特性,比如累加器、广播变量和分布式缓存。
1 累加器
API
Flink中的累加器,与Mapreduce counter的应用场景类似,可以很好地观察task在运行期间的
数据变化,如在Flink job任务中的算子函数中操作累加器,在任务执行结束之后才能获得累加器
的最终结果。
Flink有以下内置累加器,每个累加器都实现了Accumulator接口。
IntCounter
LongCounter
DoubleCounter
编码步骤:
1.创建累加器
private IntCounter numLines = new IntCounter();
2.注册累加器
getRuntimeContext().addAccumulator("num-lines", this.numLines);
3.使用累加器
this.numLines.add(1);
4.获取累加器的结果
myJobExecutionResult.getAccumulatorResult("num-lines")
代码实现:
package xx.xxxxx.flink.other;
import org.apache.flink.api.common.JobExecutionResult;
import org.apache.flink.api.common.accumulators.IntCounter;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.MapOperator;
import org.apache.flink.configuration.Configuration;
/**
* 演示Flink中累加器Accumulator使用,统计处理的条目数
*/
public class BatchAccumulatorDemo {
public static void main(String[] args) throws Exception {
// 1. 执行环境-env
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
// 2. 数据源-source
DataSource<String> dataSet = env.readTextFile("datas/u.data");
// 3. 数据转换-transformation
// map 函数,对数据不进行任何操作,仅仅为了使用累加器
MapOperator<String, String> resultDataSet = dataSet.map(new RichMapFunction<String, String>() {
// TODO: 其一、创建累加器
IntCounter counter = new IntCounter();
@Override
public void open(Configuration parameters) throws Exception {
// TODO: 其二、注册累加器
getRuntimeContext().addAccumulator("number-lines