flink: 累加器的用法

本文展示了如何使用ApacheFlink进行数据处理,通过MapOperator和RichMapFunction对字符串数据进行操作,并利用累加器统计行数,最终将结果写入文件并输出累加器值。
摘要由CSDN通过智能技术生成
package cn.edu.tju.demo;


import org.apache.flink.api.common.JobExecutionResult;
import org.apache.flink.api.common.accumulators.IntCounter;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.MapOperator;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.Arrays;
import java.util.List;

public class Test30 {
    public static void main(String[] args) throws Exception {
        ExecutionEnvironment environment = ExecutionEnvironment
                .getExecutionEnvironment();


        DataSet<String> data = environment.fromElements("a", "b", "c", "d");
        MapOperator<String, Object> result = data.map(new RichMapFunction<String, Object>() {
            //创建累加器
            private IntCounter numLines = new IntCounter();

            @Override
            public void open(Configuration parameters) throws Exception {
                super.open(parameters);
                //注册累加器
                getRuntimeContext().addAccumulator("num-lines", this.numLines);
            }

            @Override
            public Object map(String value) throws Exception {
                //修改累加器中的值
                this.numLines.add(1);
                return value;
            }
        }).setParallelism(4);
        result.writeAsText("d:\\tool\\demo");


        JobExecutionResult jobResult = environment.execute("my job");
        //任务执行结束,获取累加器中的值
        int num = jobResult.getAccumulatorResult("num-lines");
        System.out.println("num : " +num);

    }
}



  • 10
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值