第十章 Flink专题之代码开发细节

于 2022-03-23 20:00:00 发布
阅读量3k 收藏 3
点赞数
分类专栏： # Flink专题 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27924553/article/details/123688330
版权
  • 业务需求：统计下列单词并打印输出
hadoop spark flink
hadoop spark flink
hadoop spark flink
hadoop spark flink
hadoop spark flink
hadoop spark flink

1、代码实现

package flink.demo;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class WordCount0 {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        // 2、读取 文件数据 数据
        DataStreamSource<String> inputDataStream = env.readTextFile("H:\\flink_demo\\flink_test\\src\\main\\resources\\wordcount.txt");

        // 3、计算
        SingleOutputStreamOperator<Tuple2<String, Integer>> resultDataStream = inputDataStream.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String input, Collector<Tuple2<String, Integer>> collector) throws Exception {
                String[] words = input.split(" ");
                for (String word : words) {
                    collector.collect(new Tuple2<>(word, 1));
                }
            }
        }).keyBy(0)
                .sum(1);

        // 4、输出
        resultDataStream.print();

        // 5、启动 env
        env.execute();
    }
}
  • 运行结果

在这里插入图片描述

2、优化点一 - 使用面向对象

  • 优化点：把数据看成对象，遇到字段较多的数据操作比较方便
2.1、自定义对象数据结构
public class WordAndCount {

    private String word;
    private int count;

    public WordAndCount() {
    }

    public WordAndCount(String word, int count) {
        this.word = word;
        this.count = count;
    }

    public String getWord() {
        return word;
    }

    public void setWord(String word) {
        this.word = word;
    }

    public int getCount() {
        return count;
    }

    public void setCount(int count) {
        this.count = count;
    }

    @Override
    public String toString() {
        return "WordAndCount{" +
                "word='" + word + '\'' +
                ", count=" + count +
                '}';
    }
}
2.2、main方法实现业务逻辑
public class WordCount {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        // 2、读取数据
        DataStreamSource<String> inputDataStream = env.readTextFile("H:\\flink_demo\\flink_test\\src\\main\\resources\\wordcount.txt");

        // 3、扁平化 + 分组 + sum
        SingleOutputStreamOperator<WordAndCount> resultData = inputDataStream.flatMap(new FlatMapFunction<String, WordAndCount>() {
            @Override
            public void flatMap(String line, Collector<WordAndCount> out) throws Exception {
                String[] fields = line.split(" ");
                for (String word : fields) {
                    out.collect(new WordAndCount(word, 1));
                }
            }
        }).keyBy("word").sum("count");

        resultData.print();

        // 4、启动 env
        env.execute();
    }
}
  • 运行结果

在这里插入图片描述

3、优化点二 - 抽取业务功能

  • 优化：业务逻辑核心算子单独实现，代码便于阅读
3.1、自定义对象的数据结构
public class WordAndCount {

    private String word;
    private int count;

    public WordAndCount() {
    }

    public WordAndCount(String word, int count) {
        this.word = word;
        this.count = count;
    }

    public String getWord() {
        return word;
    }

    public void setWord(String word) {
        this.word = word;
    }

    public int getCount() {
        return count;
    }

    public void setCount(int count) {
        this.count = count;
    }

    @Override
    public String toString() {
        return "WordAndCount{" +
                "word='" + word + '\'' +
                ", count=" + count +
                '}';
    }
}
3.2、抽取业务逻辑
public static class SplitLine implements FlatMapFunction<String,WordAndCount>{

    @Override
    public void flatMap(String line, Collector<WordAndCount> out) throws Exception {
        String[] fields = line.split(" ");
        for (String word : fields) {
            out.collect(new WordAndCount(word, 1));
        }
    }
}
3.3、main方法实现
public static void main(String[] args) throws Exception {
    // 1、创建执行环境
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    // 2、读取数据
    DataStreamSource<String> inputDataStream = env.readTextFile("H:\\flink_demo\\flink_test\\src\\main\\resources\\wordcount.txt");

    // 3、扁平化 + 分组 + sum
    SingleOutputStreamOperator<WordAndCount> resultData = inputDataStream.flatMap(new SplitLine()).keyBy("word").sum("count");

    // 4、打印输出
    resultData.print();

    // 5、启动 env
    env.execute();
}
  • 运行结果

在这里插入图片描述

4、优化点三 - 数据源传参

  • 优化点：flink建议如果程序中需要传入参数，使用它提供的ParameterTool。
4.1、自定义对象的数据结构
public class WordAndCount {

    private String word;
    private int count;

    public WordAndCount() {
    }

    public WordAndCount(String word, int count) {
        this.word = word;
        this.count = count;
    }

    public String getWord() {
        return word;
    }

    public void setWord(String word) {
        this.word = word;
    }

    public int getCount() {
        return count;
    }

    public void setCount(int count) {
        this.count = count;
    }

    @Override
    public String toString() {
        return "WordAndCount{" +
                "word='" + word + '\'' +
                ", count=" + count +
                '}';
    }
}
4.2、抽取业务逻辑
public static class SplitLine implements FlatMapFunction<String,WordAndCount>{

    @Override
    public void flatMap(String line, Collector<WordAndCount> out) throws Exception {
        String[] fields = line.split(" ");
        for (String word : fields) {
            out.collect(new WordAndCount(word, 1));
        }
    }
}
4.3、main方法实现自定义参数传递
public static void main(String[] args) throws Exception {
    // 1、创建执行环境
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    // 2、读取数据
    //flink提供的工具类，获取传递的参数
    ParameterTool parameterTool = ParameterTool.fromArgs(args);
    String path = parameterTool.get("path");
    DataStreamSource<String> dataStream = env.readTextFile(path);

    // 3、扁平化 + 分组 + sum
    SingleOutputStreamOperator<WordAndCount> resultData = dataStream.flatMap(new SplitLine()).keyBy("word").sum("count");

    // 4、打印输出
    resultData.print();

    // 5、启动 env
    env.execute();
}
  • 参数传递

在这里插入图片描述

  • 运行结果

在这里插入图片描述

5、生产环境最佳代码实践

5.1、pom文件配置
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xmlns="http://maven.apache.org/POM/4.0.0"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>flinkdemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <java.version>1.8</java.version>
        <scala.version>2.11</scala.version>
        <flink.version>1.9.3</flink.version>
        <parquet.version>1.10.0</parquet.version>
        <hadoop.version>2.7.3</hadoop.version>
        <fastjson.version>1.2.72</fastjson.version>
        <redis.version>2.9.0</redis.version>
        <mysql.version>5.1.35</mysql.version>
        <log4j.version>1.2.17</log4j.version>
        <slf4j.version>1.7.7</slf4j.version>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.build.scope>compile</project.build.scope>
        <!--        <project.build.scope>provided</project.build.scope>-->
        <mainClass>com.hainiu.Driver</mainClass>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${slf4j.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>${log4j.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink的hadoop兼容 -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink的hadoop兼容 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hadoop-compatibility_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink的java的api -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink streaming的java的api -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink的scala的api -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink streaming的scala的api -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink运行时的webUI -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- 使用rocksdb保存flink的state -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink操作hbase -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-hbase_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink操作es -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch5_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink 的kafka -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.10_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink 写文件到HDFS -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-filesystem_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- mysql连接驱动 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>${mysql.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- redis连接 -->
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>${redis.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- flink操作parquet文件格式 -->
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-avro</artifactId>
            <version>${parquet.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>${parquet.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-parquet_${scala.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
        <!-- json操作 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
            <scope>${project.build.scope}</scope>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <directory>src/main/resources</directory>
            </resource>
        </resources>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptors>
                        <descriptor>src/assembly/assembly.xml</descriptor>
                    </descriptors>
                    <archive>
                        <manifest>
                            <mainClass>${mainClass}</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.12</version>
                <configuration>
                    <skip>true</skip>
                    <forkMode>once</forkMode>
                    <excludes>
                        <exclude>**/**</exclude>
                    </excludes>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                    <encoding>${project.build.sourceEncoding}</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>
5.2、自定义对象的数据结构
package flink.demo;

public class WordAndCount {

    private String word;
    private int count;

    public WordAndCount() {
    }

    public WordAndCount(String word, int count) {
        this.word = word;
        this.count = count;
    }

    public String getWord() {
        return word;
    }

    public void setWord(String word) {
        this.word = word;
    }

    public int getCount() {
        return count;
    }

    public void setCount(int count) {
        this.count = count;
    }

    @Override
    public String toString() {
        return "WordAndCount{" +
                "word='" + word + '\'' +
                ", count=" + count +
                '}';
    }
}
5.3、入口类实现
package flink.demo;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class WordCount {
    public static void main(String[] args) throws Exception {
        // 1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        // 2、读取数据
        //flink提供的工具类，获取传递的参数
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        String path = parameterTool.get("path");
        DataStreamSource<String> dataStream = env.readTextFile(path);

        // 3、扁平化 + 分组 + sum
        SingleOutputStreamOperator<WordAndCount> resultData = dataStream.flatMap(new SplitLine()).keyBy("word").sum("count");

        // 4、打印输出
        resultData.print();

        // 5、启动 env
        env.execute();
    }

    // 业务逻辑抽离：核心算子单独实现
    public static class SplitLine implements FlatMapFunction<String,WordAndCount>{

        @Override
        public void flatMap(String line, Collector<WordAndCount> out) throws Exception {
            String[] fields = line.split(" ");
            for (String word : fields) {
                out.collect(new WordAndCount(word, 1));
            }
        }
    }
}
5.4、代码目录结构

在这里插入图片描述

随缘清风殇
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
[Flink]Flink1.3 指南五 指定keys
SmartSi
10-23 4865
一些转换(例如，join，coGroup，keyBy，groupBy)要求在一组元素上定义一个key。其他转换(Reduce，GroupReduce，Aggregate，Windows)允许在使用这些函数之前对数据进行分组。一个DataSet进行分组如下:DataSet input = // [...] DataSet reduced = input.groupBy(/*define key he
实时计算组件-flink本地开发环境搭建
cigg153的博客
11-25 7262
本篇记录搭建flink本地开发环境的过程，使用的flink版本为1.5。 00 下载安装、启动 一、JDK版本要求 想要运行flink，JDK版本需要是JDK8+，如果版本低于8，需要进行升级噢。 二、下载安装、启动 从下载页面下载一个二进制文件，根据自己的实际情况，选择Hadoop/Scala组合版本。如果是使用本地文件系统的话，选择任何Hadoop版本都可以。 1.点击flink版本查看fl...
数据结构笔记
Pavel
11-05 424
数据结构 任何一个算法的设计取决于选定的数据（逻辑）结构，而算法的实现依赖于采用的存储结构 1. 基础概念和术语 数据（data） 是对客观事物的符号变现，在计算机科学中是指所有能输入到计算机中并被计算机程序处理的符号的总称。例如，图像、声音等都可以通过编码而归之于数据的范畴。 数据元素（data element） 是数据的基本单位，在计算机程序中通常作为一个整体进行考虑和处理。一个数据元素由若干个**数据项（data item）**组成。 数据项(data item)是数据的不可分割的最小单位。例如，一本
Apache Flink-编程指南-项目设置
A coder of life
11-08 1317
Java项目模板 前提条件：Maven3.0.4或更高，Java8 使用如下命令创建Maven项目： $ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId...
Flink开发需要的环境
SunnyRivers
06-13 3684
运行环境介绍 Flink执行环境主要分为本地环境和集群环境，本地环境主要为了方便用户编写和调试代码使用，而集群环境则被用于正式环境中，可以借助Hadoop Yarn或Mesos等不同的资源管理器部署自己的应用。 环境依赖 （1）JDK环境 Flink核心模块均使用Java开发，所以运行环境需要依赖JDK，本书暂不详细介绍JDK安装过程，用户可以根据官方教程自行安装，其中包括Windows和Lin...
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。...Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
通俗易懂之Flink DataStream API开发
02-07
《Flink DataStream API开发详解》 在大数据处理领域，Apache Flink以其高效实时处理能力备受关注，尤其在流处理方面，Flink的DataStream API提供了强大的工具。本篇将深入探讨流处理的基本概念，以及Flink ...
flink样例完整代码
最新发布
05-31
《Flink样例完整代码详解》 Apache Flink是一个开源的流处理和批处理框架，其强大的实时数据处理能力和灵活性使其在大数据领域备受推崇。本文将深入探讨Flink的样例代码，帮助开发者更好地理解和应用Flink的核心...
为什么Flink会成为下一代大数据处理框架的标准？
大数据
05-22 756
导读：本文将告诉你Flink是什么，以及为什么Flink会成为下一代大数据处理框架的标准。作者：张利兵如需转载请联系大数据（ID：hzdashuju）01什么是Flin...
Flink 核心技术浅析（整理版）
Swordfall的博客
03-31 2838
1. Flink简介 Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink流执行引擎（streaming dataflow engine），提供支持流处理和批处理两种类型应用的功能。batch dataSet可以视作data Streaming的一种特例。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： D...
flink代码demo
01-02
flink demo应用 讲述flatmap reducemap datastream等等
数仓规范文档.rar
05-30
本文档整理数据仓库搭建过程中的分层结构和数据库、表名、字段命名规范，对数仓开发、大数据开发有重要帮助，欢迎下载。有问题随时博客留言或者私信我。
Flink(window time watermark)
我的祖传代码
04-01 1291
https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/operators/windows.html 1 Time与Window 1.1 Flink中涉及的时间 Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每⼀条⽇志都会记录⾃己的生成时间，Flink通过时间...
一个简单的Flink程序开发代码
qq_31866793的博客
07-19 648
重点主要是使用State，模拟实现匹配场景功能 ，想了解更多完整代码，可以留言 package com.coder.flink.core.stormToFlink; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject;...
使用 Apache Flink 开发实时 ETL
热门推荐
张吉的博客
12-30 1万+
Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。 ...
flink入门程序
代码人的自白
07-12 7195
本文列出了java版的flink基础程序和使用方法，读者可以通过本文开始flink的基础学习，后续会持续更新flink的相关知识 资源 flink-1.4.2-bin-hadoop26-scala_2.11.tgz 解压到linux主机， 执行：sh /root/flink-1.4.2/bin/start-local.sh 启动flink 访问web：http://ip:8081即可看...
Flink代码初学记录
AEsun的博客
09-16 514
Flink代码初学记录第一次使用markdown编辑器言归正传，Flink代码学习功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导...
Flink高级Demo(含源码)
beishanyingluo的博客
07-14 3064
Flink的状态管理 keyed state operator state Flink的CheckPoint checkpoint的持久化方案 checkpoint持久化开发 Flink SQL & Table API DataSet/DataStream转Table Table转DataSet/DataStream SQL操作数据 TableAPI操作数据 1. Flink的状态管理 1.1. 什么是有状态的计算 官网对Flink的解释：Stateful Computa..
flink sql scala代码
11-04
根据提供的引用内容，flink sql scala代码是指使用Scala编写的Flink SQL代码。Flink SQL是Flink的一种查询语言，它允许用户使用类SQL语句来查询和操作数据流和数据表。下面是一个简单的flink sql scala代码的例子： ```scala import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.scala._ import org.apache.flink.table.api.TableEnvironment val env = StreamExecutionEnvironment.getExecutionEnvironment val tEnv = TableEnvironment.getTableEnvironment(env) val stream = env.socketTextStream("localhost", 9999) val table = stream.flatMap(_.split(" ")).map(word => (word, 1)).toTable(tEnv, 'word, 'count) val result = table.groupBy('word).select('word, 'count.sum as 'count) result.toRetractStream[(String, Long)].print() env.execute("Flink SQL Scala Example") ``` 这段代码使用了Flink的Table API和Flink SQL来统计输入流中每个单词出现的次数，并将结果打印到控制台上。需要注意的是，这段代码需要引入Flink Table和Flink Scala的依赖库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随缘清风殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值