2024年最新Flink入门之 DataSet API实现Word Count(1)，2024年最新大数据开发面试总结

最新推荐文章于 2024-11-06 11:12:27 发布

2401_84181326

最新推荐文章于 2024-11-06 11:12:27 发布

阅读量675

点赞数 12

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84181326/article/details/138644724

版权

程序员专栏收录该内容

165 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <flink.version>1.17.0</flink.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java</artifactId>
        <version>${flink.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients</artifactId>
        <version>${flink.version}</version>
    </dependency>
</dependencies>


##### 任务编写

package com.xx.flink.task;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.AggregateOperator;
import org.apache.flink.api.java.operators.DataSource;
import org.apache.flink.api.java.operators.FlatMapOperator;
import org.apache.flink.api.java.operators.UnsortedGrouping;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

/**

TODO DataSet API 实现 wordcount（不推荐）
*/
public class WordCountBatchDemo {
public static void main(String[] args) throws Exception {
// TODO 1. 创建执行环境
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

 // TODO 2.读取数据：从文件中读取
 DataSource<String> lineDS = env.readTextFile("E:\\code-opensource\\simple-demo\\flink\\input\\word.txt");

 // TODO 3.切分、转换 （word，1）
 FlatMapOperator<String, Tuple2<String, Integer>> wordAndOne = lineDS.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
     @Override
     public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
         // TODO 3.1 按照 空格 切分单词
         String[] words = value.split(" ");
         // TODO 3.2 将 单词 转换为 （word，1）
         for (String word : words) {
             Tuple2<String, Integer> wordTuple2 = Tuple2.of(word, 1);
             //TODO 3.3 使用 Collector 向下游发送数据
             out.collect(wordTuple2);
         }
     }
 });

 // TODO 4.按照 word 分组
 UnsortedGrouping<Tuple2<String, Integer>> wordAndOneGroupby = wordAndOne.groupBy(0);

 // TODO 5.各分组内聚合
 AggregateOperator<Tuple2<String, Integer>> sum = wordAndOneGroupby.sum(1); // 1是位置，表示第二个元素

 // TODO 6.输出