【大数据Flink】入门案例 -- WordCount

最新推荐文章于 2024-05-05 11:39:41 发布

牛顿编程

最新推荐文章于 2024-05-05 11:39:41 发布

阅读量1.4k

点赞数 1

分类专栏：大数据 Java 文章标签： big data flink 大数据 wordcount dataset

本文链接：https://blog.csdn.net/weixin_46684578/article/details/122803180

版权

Java 同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

大数据

2 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用Apache Flink的DataSet API实现WordCount，包括数据加载、切割单词、标记、分组和聚合过程。通过实际代码演示，展示了如何利用flatMap和map函数完成关键操作。

摘要由CSDN通过智能技术生成

Flink-WordCount

下面主要是使用 DataSet 的方式去实现，在 Flink 1.14版本之后，DataSet 的方式被弃用，主要开始使用 DataStream 的方式

1. env 环境准备

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

2. Source 加载数据

用 , 分隔表示两行数据

DataSet<String> lineDS = env.fromElements("Who's there?",
        "I think I hear them. Stand, ho! Who's there?");

3. transformation 数据转换处理

这一步是最关键的一部，大致经过4个步骤。

切割、标记、分组、聚合

3.1 切割

关键函数：flatMap，继承 FlatMapFunction，FlatMapFunction有两个参数（String 类型），分别代表输入和输出

DataSet<String> words = lineDS.flatMap(new FlatMapFunction<String, String>() {
    @Override
    public void flatMap(String value, Collector<String> out) throws Exception {
        /*
        value 表示每一行数据，out表示输出的数据
         */
        String[] arrStr = value.split(" ");     // 以空格当做分隔符
        for(String s:arrStr){
            out.collect(s);
        }
    }
});

3.2 标记

map方法的功能是标记，源代码为

public <R> MapOperator<T, R> map(MapFunction<T, R> mapper) {
        if (mapper == null) {
            throw new NullPointerException("Map function must not be null.");
        } else {
            String callLocation = Utils.getCallLocationName();
            TypeInformation<R> resultType = TypeExtractor.getMapReturnTypes(mapper, this.getType(), callLocation, true);
            return new MapOperator(this, resultType, (MapFunction)this.clean(mapper), callLocation);
        }
    }

MapFunction 是一个接口，其中有唯一一个抽象方法，源代码为

public interface MapFunction<T, O> extends Function, Serializable {
    O map(T var1) throws Exception;
}

Tuple2 表示二维元组，Tuple2<String, Integer> 第一个参数为 String，第二个参数为 Integer。

下面用匿名函数的方式去实现map方法，完成数据标记的功能

// 数据标记为1，wordAndOne是被标记完成的数据，数据类型为二元组
// MapFunction 方法的功能为数据标记，输入String，输出Tuple2
DataSet<Tuple2<String,Integer>> wordAndOne = words.map(new MapFunction<String, Tuple2<String,Integer>>() {
    @Override
    public Tuple2<String, Integer> map(String s) throws Exception {
        // s 表示每一个单词。输入类型String，返回类型Tuple2<String, Integer>
        return Tuple2.of(s,1);
    }
});

3.3 分组

// 分组 -- 对标记完成的数据进行分组。
// 0 表示对Tuple中的第一个参数进行分组
        UnsortedGrouping<Tuple2<String, Integer>> grouped = wordAndOne.groupBy(0);

3.4 聚合

// 聚合 -- 1 表示对Tuple中的第二个参数进行聚合
        AggregateOperator<Tuple2<String, Integer>> sum = grouped.sum(1);

4. Sink 数据输出

sum.print();

在这里插入图片描述

源码

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.AggregateOperator;
import org.apache.flink.api.java.operators.UnsortedGrouping;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class WordCount {

    public static void main(String[] args) {

        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        // 有两个参数，也就是两行数据
        // 父类类型 接收子类对象 是完全可以的
        DataSet<String> lineDS = env.fromElements("Who's there?",
                "I think I hear them. Stand, ho! Who's there?");

        // 数据切割-匿名函数
        DataSet<String> words = lineDS.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public void flatMap(String value, Collector<String> out) throws Exception {
                /*
                value 表示每一行数据，out表示输出的数据
                 */
                String[] arrStr = value.split(" ");
                for(String s:arrStr){
                    out.collect(s);
                }
            }
        });

        // 数据标记为1，wordAndOne是被标记完成的数据
        // MapFunction 方法的功能为数据标记，输入String，输出Tuple2
        DataSet<Tuple2<String,Integer>> wordAndOne = words.map(new MapFunction<String, Tuple2<String,Integer>>() {
            @Override
            public Tuple2<String, Integer> map(String s) throws Exception {
                // s 表示每一个单词。输入类型String，返回类型Tuple2<String, Integer>
                return Tuple2.of(s,1);
            }
        });

        // 分组 -- 对标记完成的数据进行分组。
        // 0 表示对Tuple中的第一个参数进行分组
        UnsortedGrouping<Tuple2<String, Integer>> grouped = wordAndOne.groupBy(0);

        // 聚合 -- 1 表示对Tuple中的第二个参数进行聚合
        AggregateOperator<Tuple2<String, Integer>> sum = grouped.sum(1);

        try {
            sum.print();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>WordCount</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.13.1</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.33</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.13.1</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.33</version>
            <scope>compile</scope>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.0.0</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass></mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>