使用文本文件模拟Flink数据流

该博客介绍如何利用Java实现Flink从文本文件读取数据并进行流处理。通过创建StreamExecutionEnvironment,读取指定路径的hello.txt文件,然后对数据流进行flatMap操作,再使用keyBy和sum进行分组求和,最后执行任务打印结果。
摘要由CSDN通过智能技术生成

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;


public class StreamCount {

    public static void main(String[] args) throws Exception {
        //数据流
        StreamExecutionEnvironment  env = StreamExecutionEnvironment.getExecutionEnvironment();
        String path="D:\\onlinetime\\java-d-operate\\feature-utils-hub\\feature-flink-realtime-java\\src\\main\\resources\\hello.txt";
        DataStream<String> inputDataString =  env.readTextFile(path);
        DataStream<Tuple2<String,Integer>> reults = inputDataString.flatMap(new MyFlatMapper())
                .keyBy(0)
                .sum(1);

        reults.print();

        env.execute();

    }

public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String,Integer>>{


    @Override
    public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
        String[] words= value.split(" ");
        for( String word : words){
            out.collect(new Tuple2<>(word,1));
        }
    }
}

}

hello.txt

hello world
hello you
let is meet you
I am fine
thank you
and you

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值