FlinkSQL kafka完整案例 可直接复制使用

最新推荐文章于 2024-05-17 08:50:31 发布
最新推荐文章于 2024-05-17 08:50:31 发布
阅读量2.4k 收藏 7
点赞数
分类专栏： flink 案例&踩坑 文章标签： kafka java 分布式 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45399602/article/details/130324079
版权

为自己记录一下flinksql 消费kafka json数据 并写入doris的完整案例
用完发现，flinksql 是真的香。

虽然尽量追求完整，但是从kafka造数据开始写，过于累赘因此省略。正文开始。

单表

kafka原始数据

{"id":1,"name":"nick","age":7,"address":"shanghai"}

原始数据形式

flinksql 连接

准备连接sql

    public static String kafkaTablePerson = "CREATE TABLE person (\n" +
            " id INT,\n" +
            " name STRING,\n" +
            " age INT,\n" +
            " address STRING\n" +
            ") WITH (\n" +
            " 'connector' = 'kafka',\n" +
            " 'topic' = 'flink',\n" +
            " 'properties.bootstrap.servers' = '172.8.10.xxx:6667',\n" +
            " 'format' = 'json',\n" +
            " 'scan.startup.mode' = 'earliest-offset'\n" +
            ")\n";

以下的连接器元数据可以在表定义中通过元数据列的形式获取。

R/W 列定义了一个元数据是可读的（R）还是可写的（W）。 只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。

键数据类型描述R/W
topicSTRING NOT NULLKafka 记录的 Topic 名。R
partitionINT NOT NULLKafka 记录的 partition ID。R
headersMAP NOT NULL二进制 Map 类型的 Kafka 记录头（Header）。R/W
leader-epochINT NULLKafka 记录的 Leader epoch（如果可用）。R
offsetBIGINT NOT NULLKafka 记录在 partition 中的 offset。R
timestampTIMESTAMP_LTZ(3) NOT NULLKafka 记录的时间戳。R/W
timestamp-typeSTRING NOT NULLKafka 记录的时间戳类型。可能的类型有 “NoTimestampType”， “CreateTime”（会在写入元数据时设置），或 “LogAppendTime”。R

以下是kafka connector的参数，只写了常用的，文末有所有参数

连接器参数
参数是否必选默认值数据类型描述
connector必选（无）String指定使用的连接器，Kafka 连接器使用 ‘kafka’。
topicrequired for sink（无）String当表用作 source 时读取数据的 topic 名。亦支持用分号间隔的 topic 列表，如 ‘topic-1;topic-2’。注意，对 source 表而言，’topic’ 和 ‘topic-pattern’ 两个选项只能使用其中一个。当表被用作 sink 时，该配置表示写入的 topic 名。注意 sink 表不支持 topic 列表。
properties.bootstrap.servers必选（无）String逗号分隔的 Kafka broker 列表。
properties.group.id对 source 可选，不适用于 sink（无）StringKafka source 的消费组 id。如果未指定消费组 ID，则会使用自动生成的 “KafkaSource-{tableIdentifier}” 作为消费组 ID。
format必选（无）String用来序列化或反序列化 Kafka 消息的格式。 请参阅 格式 页面以获取更多关于格式的细节和相关配置项。 注意：该配置项和 ‘value.format’ 二者必需其一。
scan.startup.mode可选group-offsetsStringKafka consumer 的启动模式。有效值为：‘earliest-offset’，‘latest-offset’，‘group-offsets’，‘timestamp’ 和 ‘specific-offsets’。

flinksql查询

    public static String selectALLPerson = "select id,name,age,address from person ";

主体方法

  		final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
 
        final StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);
        
        tEnv.executeSql(CreateTableSQL.kafkaTableInfo);
    	tEnv.executeSql(SelectSQL.selectALLPerson).print();

简单的几行代码就可以搞定了，和写sql 没什么区别，十分便捷。

sql筛选语句

把sql稍微复杂一点点

public static String selectPerCountNamePrint = " select name, COUNT(*) as num FROM person GROUP BY name ";

依旧可以，不过有个坑，别名不能和方法名相同，这个在其他地方似乎没有这个限制的，我试了count(*) as count 就会出现错误。

数据落盘

仅仅只是select 是不会满足使用的，需要落盘。
我这里使用的是sink doris中

    public static final String SinkDorisPerCountName = "CREATE TABLE  percountname_sink (" +
            "name STRING, \n" +
            "num BIGINT  \n" +
            ")"+
            "WITH ( \n" +
            " 'connector' = 'doris' , \n" +
            " 'fenodes' = '172.8.10.xxx:8030' , \n" +
            " 'table.identifier' = 'test_db.PerCountName' ,\n " +
            " 'username' = 'username', \n " +
            " 'password' = 'password' ,\n " +
            "  'sink.label-prefix' ='" + label + "',\n" +
            "  'sink.properties.format' = 'json',\n" +
            "  'sink.properties.read_json_by_line' = 'true'\n" +
            ")";

需要注意的是label 必须是唯一的，为了避免多次测试时遇到问题，这里写了个随机的label，确保每次都不一样。

案例中的WITH 参数基本满足使用，更多细节推荐去官网看看。

为了方便我把doris建表贴出来

CREATE TABLE IF NOT EXISTS PerCountName
(
    `name` VARCHAR(50) NOT NULL COMMENT "",
    `num` INT NOT NULL COMMENT "出现的次数"
)
UNIQUE KEY(`name`)
DISTRIBUTED BY HASH(`name`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

insertSQL语句

public static String selectPerCountNamePrint = " select name, COUNT(*) as num FROM person GROUP BY name ";
执行

现在只需要把上文的主体方法稍微改一下即可

 		tEnv.executeSql(CreateTableSQL.kafkaTablePerson);
        tEnv.executeSql(SinkDorisTableSQL.SinkDorisPerCountName);
        tEnv.executeSql(SelectSQL.selectPerCountNameInsert);

执行的时候会发现doris里并没有数据，这是因为
为了保证Flink的Exactly Once语义，Flink Doris Connector 默认开启两阶段提交，Doris在1.1版本后默认开启两阶段提交。1.0可通过修改BE参数开启。
因此需要开启checkpoint 或者修改doris BE参数

 env.enableCheckpointing(10000);
 env.setParallelism(1);

加上之后即可

还去试了一下on yarn 是没有问题的，不过会遇到报错
可以看这篇文章
https://blog.csdn.net/weixin_45399602/article/details/127526911

好了，现在单表查询和落盘已经会了，想试一下多表查询有没有问题呢

多表join

新表结构这样

{"id":0,"name":"jack","score":141,"date":"2023-01-02"}

目标为：每个name的最大score。

简单一点 直接贴了

    public static String kafkaTableInfo = "CREATE TABLE info (\n" +
            " id INT,\n" +
            " name STRING,\n" +
            " score INT,\n" +
            " `date` DATE\n" +
            ") WITH (\n" +
            " 'connector' = 'kafka',\n" +
            " 'topic' = 'flinkinfo',\n" +
            " 'properties.bootstrap.servers' = '172.8.10.xxx:6667',\n" +
            " 'format' = 'json',\n" +
            " 'scan.startup.mode' = 'earliest-offset'\n" +
            ")\n";

 public static String selectPerMaxScore = " SELECT info.name, MAX(info.score) AS max_score FROM info JOIN person ON person.name = info.name GROUP BY info.name";

join查询

tEnv.executeSql(CreateTableSQL.kafkaTableInfo);
tEnv.executeSql(CreateTableSQL.kafkaTablePerson);
tEnv.executeSql(SelectSQL.selectPerMaxScore).print();

或者写到doris里 也是可以的，效果会比较明显。

总结

flinksql 消费kafka整体来说是十分简单好用的，使用时门口较低，实时性又高，可以经常使用。

OK，以上为案例所以内容。

以下是补充内容。

整个项目所需要的所有依赖

可以跳过

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <scala.version>2.12</scala.version>
    <java.version>1.8</java.version>
    <flink.version>1.14.4</flink.version>
    <fastjson.version>1.2.62</fastjson.version>
    <hadoop.version>2.8.3</hadoop.version>
    <scope.mode>compile</scope.mode>
    <slf4j.version>1.7.30</slf4j.version>

  </properties>

  <dependencies>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-table-api-scala-bridge_${scala.version}</artifactId>
          <version>${flink.version}</version>
          <scope>provided</scope>
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-table-planner_${scala.version}</artifactId>
          <version>${flink.version}</version>
          <!--            本地测试时注释 scope -->
<!--          <scope>provided</scope>-->
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-streaming-scala_${scala.version}</artifactId>
          <version>${flink.version}</version>
          <!--            本地测试时注释 scope -->
<!--          <scope>provided</scope>-->
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-clients_${scala.version}</artifactId>
          <version>${flink.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-connector-jdbc_${scala.version}</artifactId>
          <version>${flink.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-connector-kafka_${scala.version}</artifactId>
          <version>${flink.version}</version>
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-json</artifactId>
          <version>${flink.version}</version>
      </dependency>
      <dependency>
          <groupId>com.alibaba</groupId>
          <artifactId>fastjson</artifactId>
          <version>${fastjson.version}</version>
      </dependency>
      <!-- Add log dependencies when debugging locally -->
      <dependency>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-api</artifactId>
          <version>${slf4j.version}</version>
      </dependency>
      <dependency>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
          <version>${slf4j.version}</version>
      </dependency>
      <!-- flink-doris-connector -->
      <dependency>
          <groupId>org.apache.doris</groupId>
          <artifactId>flink-doris-connector-1.14_2.12</artifactId>
          <version>1.1.0</version>
      </dependency>
      <dependency>
          <groupId>mysql</groupId>
          <artifactId>mysql-connector-java</artifactId>
          <version>8.0.12</version>
      </dependency>
      <dependency>
          <groupId>com.ververica</groupId>
          <artifactId>flink-connector-mysql-cdc</artifactId>
          <version>2.2.0</version>
          <exclusions>
              <exclusion>
                  <artifactId>flink-shaded-guava</artifactId>
                  <groupId>org.apache.flink</groupId>
              </exclusion>
          </exclusions>
      </dependency>
      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-runtime-web_${scala.version}</artifactId>
          <version>${flink.version}</version>
      </dependency>

      <dependency>
          <groupId>org.apache.flink</groupId>
          <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
          <version>${flink.version}</version>
      </dependency>
      <!--保存检查点到hdfs上-->
      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-client</artifactId>
          <version>${hadoop.version}</version>
      </dependency>

  </dependencies>

kafka connector参数

参数是否必选默认值数据类型描述
connector必选（无）String指定使用的连接器，Kafka 连接器使用 ‘kafka’。
topicrequired for sink（无）String当表用作 source 时读取数据的 topic 名。亦支持用分号间隔的 topic 列表，如 ‘topic-1;topic-2’。注意，对 source 表而言，’topic’ 和 ‘topic-pattern’ 两个选项只能使用其中一个。当表被用作 sink 时，该配置表示写入的 topic 名。注意 sink 表不支持 topic 列表。
topic-pattern可选（无）String匹配读取 topic 名称的正则表达式。在作业开始运行时，所有匹配该正则表达式的 topic 都将被 Kafka consumer 订阅。注意，对 source 表而言，’topic’ 和 ‘topic-pattern’ 两个选项只能使用其中一个。
properties.bootstrap.servers必选（无）String逗号分隔的 Kafka broker 列表。
properties.group.id对 source 可选，不适用于 sink（无）StringKafka source 的消费组 id。如果未指定消费组 ID，则会使用自动生成的 “KafkaSource-{tableIdentifier}” 作为消费组 ID。
properties.*可选（无）String可以设置和传递任意 Kafka 的配置项。后缀名必须匹配在 Kafka 配置文档 中定义的配置键。Flink 将移除 “properties.” 配置键前缀并将变换后的配置键和值传入底层的 Kafka 客户端。例如，你可以通过 ‘properties.allow.auto.create.topics’ = ‘false’ 来禁用 topic 的自动创建。但是某些配置项不支持进行配置，因为 Flink 会覆盖这些配置，例如 ‘key.deserializer’ 和 ‘value.deserializer’。
format必选（无）String用来序列化或反序列化 Kafka 消息的格式。 请参阅 格式 页面以获取更多关于格式的细节和相关配置项。 注意：该配置项和 ‘value.format’ 二者必需其一。
key.format可选（无）String用来序列化和反序列化 Kafka 消息键（Key）的格式。 请参阅 格式 页面以获取更多关于格式的细节和相关配置项。 注意：如果定义了键格式，则配置项 ‘key.fields’ 也是必需的。 否则 Kafka 记录将使用空值作为键。
key.fields可选[]List表结构中用来配置消息键（Key）格式数据类型的字段列表。默认情况下该列表为空，因此消息键没有定义。 列表格式为 ‘field1;field2’。
key.fields-prefix可选（无）String为所有消息键（Key）格式字段指定自定义前缀，以避免与消息体（Value）格式字段重名。默认情况下前缀为空。 如果定义了前缀，表结构和配置项 ‘key.fields’ 都需要使用带前缀的名称。 当构建消息键格式字段时，前缀会被移除，消息键格式将会使用无前缀的名称。 请注意该配置项要求必须将 ‘value.fields-include’ 配置为 ‘EXCEPT_KEY’。
value.format必选（无）String序列化和反序列化 Kafka 消息体时使用的格式。 请参阅 格式 页面以获取更多关于格式的细节和相关配置项。 注意：该配置项和 ‘format’ 二者必需其一。
value.fields-include可选ALL枚举类型可选值：[ALL, EXCEPT_KEY]定义消息体（Value）格式如何处理消息键（Key）字段的策略。 默认情况下，表结构中 ‘ALL’ 即所有的字段都会包含在消息体格式中，即消息键字段在消息键和消息体格式中都会出现。
scan.startup.mode可选group-offsetsStringKafka consumer 的启动模式。有效值为：‘earliest-offset’，‘latest-offset’，‘group-offsets’，‘timestamp’ 和 ‘specific-offsets’。 请参阅下方 起始消费位点 以获取更多细节。
scan.startup.specific-offsets可选（无）String在使用 ‘specific-offsets’ 启动模式时为每个 partition 指定 offset，例如 ‘partition:0,offset:42;partition:1,offset:300’。
scan.startup.timestamp-millis可选（无）Long在使用 ‘timestamp’ 启动模式时指定启动的时间戳（单位毫秒）。
scan.topic-partition-discovery.interval可选（无）DurationConsumer 定期探测动态创建的 Kafka topic 和 partition 的时间间隔。
sink.partitioner可选‘default’StringFlink partition 到 Kafka partition 的分区映射关系，可选值有：default：使用 Kafka 默认的分区器对消息进行分区。fixed：每个 Flink partition 最终对应最多一个 Kafka partition。round-robin：Flink partition 按轮循（round-robin）的模式对应到 Kafka partition。只有当未指定消息的消息键时生效。自定义 FlinkKafkaPartitioner 的子类：例如 ‘org.mycompany.MyPartitioner’。请参阅下方 Sink 分区 以获取更多细节。
sink.semantic可选at-least-onceString定义 Kafka sink 的语义。有效值为 ‘at-least-once’，‘exactly-once’ 和 ‘none’。请参阅 一致性保证 以获取更多细节。
sink.parallelism可选（无）Integer定义 Kafka sink 算子的并行度。默认情况下，并行度由框架定义为与上游串联的算子相同。
风_间
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目属于maven项目 使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
flink 写kafka_Flink SQL实战 — Kafka篇
weixin_36280648的博客
12-27 2861
随着Flink 1.11的发布, Flink SQL的功能和生态日渐强大。Flink内置了Kafka/JDBC/ElasticSearch/HBase/Filesystem等众多connecter，并支持常用的数据格式如json/avro/csv等，能够很方便的帮助用户通过SQL注册相对应的source表/sink表，利用Flink SQL进行计算，完成整个实时job的开发。相对于Dat...
Flink消费kafka消息实战(1)
youpccc的博客
03-28 322
在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！” />在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 具体来说： flink-sql-connector-kafka：表示这是一个 Flink 的 SQL Kafka 连接器。 _2.12：表示这个 JAR 包是为 Scala 2.12 版本编译的。Scala 是 Flink 和很多其他大数据工具常用的编程语言。 1.13.1：表示这个 JAR 包是 Flink 1.13.1 版本的。 当你需要在 Flink SQL 环境中从 Kafka 读取数据或向 Kafka 写入数据时，你可以使用这个 JAR 包。这个连接器支持 Flink SQL 的标准 DDL (Data Definition Language) 和 DML (Data Manipulation Language)
Flink（十九）—— Flink 写入数据到 Kafka
weixin_42073629的博客
10-15 3043
前言 之前文章—— Flink 写入数据到 ElasticSearch写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。存入到 ES 只是其中一种情况，那么如果我们有多个地方需要这份通过 Flink 转换后的数据，是不是又要我们继续写个 sink 的插件呢？确实，所以 Flink 里面就默认支持了不少 sink，比如也支持 Kafka sink conn..
2.1、如何在FlinkSQL中读取&写入到Kafka
向热爱自己一样，热爱这个世界。
10-11 5931
使用 flinksql读取、写入kafka
flink-sql-connector-kafka_2.11-1.11.2.jar
03-12
flink-sql-connector-kafka_2.11-1.11.2.jar
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践
张伟的专栏
02-12 743
实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到： 实时数仓的基本架构 实时数仓的数据处理流程 Flink1.11的SQL新特性 Flink1.11存在的bug 完整的操作案例 古人...
Flink SQL与Kafka的集成
蔡政洁的博客
04-11 4270
目录（1）Flink Stream与Kafka的集成（2）Flink SQL与Kafka的集成（2.1）第一步：Flink SQL Client配置好（2.2）第二步：创建hiveConfDir（2.3）第三步：测试Flink SQL与Kafka集成的代码（2.4）第四步：测试kafka数据 版本说明： flink-1.12.1 kafka_2.12-2.4.1 （1）Flink Stream与Kafka的集成 添加maven依赖： <dependency> <groupId>
flink Sql自定义kafka连接器
qq_27242695的博客
05-13 1409
文章目录flink sql自定义kafka连接器1. Overview2. 自定义kafka连接器2.2 maven相关依赖2.3 自定义Factory2.4 测试 flink sql自定义kafka连接器 在流式计算平台当中，为保证flink sql connector相关参数不暴露，官方提供的连接器不满足业务场景及产品本身的要求，通过可以改源码或者说自定义连接器解决。 1. Overview 源码架构 源码查找：FactoryUtil.discoverFactory 获取所有的连接器Factory，包
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
flink连接kafka
01-20
1.启动zookeeper 在cmd中输入zkserver，成功启动页面 如下： org.apache.maven.plugins maven-compiler-... org.apache.flink flink-java ${flink.version} compile o
flink-kafka-connector
03-26
DataStream API目前支持设定kafka的结束消费位置setBounded(setUnbounded)，我使用的是Table API,目前并不支持设置结束位置，只能自定义的flink-kafka连接器，可设定消费kafka的开始和结束位置，可以在批任务的情况...
Flink-SQL实现kafka处理后写入kafka
JustinMars的博客
10-13 1932
基本信息 kafka版本 1.13.2 topic 原始数据topic user_behavior 输出数据topic after_binlog 读取kafka原始数据 CREATE TABLE user_behavior ( id BIGINT, name STRING, flag STRING ) WITH ( 'connector.type' = 'kafka', -- 使用 kafka connector 'co
fink sql 读取 kafka 的数据写到 kafka
zuixue_lei的博客
03-29 1604
版本： flink 1.12 平台：streamX -- source CREATE TABLE `stg_access_its_rt_kafka` ( `message` STRING COMMENT '表数据', `table_name` STRING COMMENT '表名', `record_time` STRING COMMENT '时间yyyy-MM-dd HH:mm:ss', `ts` TIMESTAMP(3) METADATA FR..
轻松通关Flink第24讲：Flink 消费 Kafka 数据业务开发
sucaiwa的博客
03-28 4338
这一课时介绍了 Flink 消费 Kafka 的方式，比如从常用的指定单个或者多个 Topic、消息的序列化、分区的动态发现等，还从源码上介绍了 Flink 消费 Kafka 的原理。通过本课时的学习，相信你可以对 Flink 消费 Kafka 有一个较为全面地了解，根据业务场景可以正确选择消费的方式和配置。
flinksql客户端消费 kafka
Jatham_C的博客
11-11 1423
建议整合hive，这样创建的表可以保存 参考个人博客: https://blog.jathamcloud.top/blog/8 添加jar依赖 仓库地址 https://mvnrepository.com/artifact/org.apache.flink/flink-clients https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java https://mvnrepository.com/artifact/or
Flink SQL kafka到kafka
weixin_45903673的博客
07-24 473
Flink SQL 从kafka查数据写到kafka import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; public class Flink05_SQL_Kafka2Kafka { public static void main(String[] args
Kafka-集群管理者（Controller）选举机制、任期（epoch）机制
最新发布
喻师傅的学习笔记
05-17 990
Kafka-集群管理者（Controller）选举机制、任期（epoch）机制
flinksql kafka
06-03
很好，你的问题是关于 Flink SQL 和 Kafka 的。我能够告诉你，Flink SQL 是基于 Apache Flink 的一种流处理方式，可以轻松地使用 SQL 语句来处理流数据。而 Kafka 是一个分布式的消息队列系统，可以用来处理大量的实时数据流。在 Flink 中，你可以使用 Flink Kafka Connector 来连接 Flink 和 Kafka，并在 Flink SQL 中使用 Kafka 主题作为输入或输出数据源。这样可以使得 Flink SQL 更加灵活和强大，能够处理更加复杂的数据处理任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值