Flink批处理 wordcount

Flink批处理 wordcount

1. 准备数据

Hello world 2021
hello flink 2022
hello java 2022

2. 处理

public class BathCount {
   public static void main(String[] args) throws Exception {
   //1.创建执行环境
   ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
   //2.读取数据
   DataSource<String> linesDS = env.readTextFile("src/input/words.txt");
   //3.数据格式转换
   	//3.1 将数据转换成二元组
     FlatMapOperator<String, Tuple2<String, Long>> ret = linesDS.flatMap((String line, Collector<Tuple2<String, Long>> out) -> {
    //3.2 将一行数据按空格进行分词
           String[] words = line.split(" ");
     //3.3 将切分的词‘打上标记’ <word ,1>
           for (String word : words) {
               out.collect(Tuple2.of(word, 1L));
           }
//lambda表达式使用Java泛型时 会有 ，泛型擦除存在，需要显示生命数据类型
       }).returns(Types.TUPLE(Types.STRING, Types.LONG));
  //4.按照word进行分组，即tuple第一个元素
  UnsortedGrouping<Tuple2<String, Long>> retGroup = ret.groupBy(0);
  // 5. 分组内 聚合统计 ，此处sum（1）表示tuple第二个元素
   AggregateOperator<Tuple2<String, Long>> wordCount = retGroup.sum(1);
   //6.输出
       wordCount.print();
 
   }
}

3. 输出结果
4. 注意
   写代码时导包要选择FLINK 对应的包