Flink 系例之 TableAPI & SQL 与 Kafka 消息插入

最新推荐文章于 2024-05-31 13:34:25 发布

不会飞的小龙人

最新推荐文章于 2024-05-31 13:34:25 发布

阅读量352

点赞数

分类专栏： Flink 文章标签： kafka flink sql

本文链接：https://blog.csdn.net/jilo88/article/details/125515374

版权

Flink 专栏收录该内容

52 篇文章 12 订阅

订阅专栏

该博客演示了如何在Java环境下，利用Flink 1.11.1和Kafka 2.11版本，通过TableAPI和SQL语句创建Kafka表并插入数据。示例中详细展示了配置参数，如connector、topic、bootstrap.servers等，并提供了两种执行SQL插入数据的方法。最后，示例代码成功将数据写入Kafka的user_behavior主题。

摘要由CSDN通过智能技术生成

使用 Tbale&SQL 与 Flink Kafka 连接器将数据写入 kafka 的消息队列

示例环境

java.version: 1.8.x
flink.version: 1.11.1
kafka：2.11

示例数据源（项目码云下载）

Flink 系例之搭建开发环境与数据

示例模块（pom.xml）

Flink 系例之 TableAPI & SQL 与示例模块

InsertToKafka.java

package com.flink.examples.kafka;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.StatementSet;
import org.apache.flink.table.api.TableResult;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

/**
 * @Description 使用Tbale&SQL与Flink Elasticsearch连接器将数据写入kafka的消息队列
 */
public class InsertToKafka {

    /**
        官方参考：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/kafka.html

        format:用于反序列化和序列化Kafka消息的格式。支持的格式包括'csv'，'json'，'avro'，'debezium-json'和'canal-json'。
     */

    static String table_sql = "CREATE TABLE KafkaTable (\n" +
            "  `user_id` BIGINT,\n" +
            "  `item_id` BIGINT,\n" +
            "  `behavior` STRING,\n" +
            "  `ts` TIMESTAMP(3)\n" +
            ") WITH (\n" +
            "  'connector' = 'kafka',\n" +
            "  'topic' = 'user_behavior',\n" +
            "  'properties.bootstrap.servers' = '192.168.110.35:9092',\n" +
            "  'properties.group.id' = 'testGroup',\n" +
            "  'scan.startup.mode' = 'earliest-offset',\n" +
            "  'format' = 'json'\n" +
            ")";
    public static void main(String[] args) throws Exception {
        //构建StreamExecutionEnvironment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //默认流时间方式
        env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);
        //构建EnvironmentSettings 并指定Blink Planner
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
        //构建StreamTableEnvironment
        StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, bsSettings);
        //注册kafka数据维表
        tEnv.executeSql(table_sql);

        //时间格式处理，参考阿里文档
        //https://www.alibabacloud.com/help/zh/faq-detail/64813.htm?spm=a2c63.q38357.a3.3.697c13523NZiIN
        String sql = "insert into KafkaTable (user_id,item_id,behavior,ts) values(1,1,'normal', TO_TIMESTAMP(FROM_UNIXTIME( " + System.currentTimeMillis() + " / 1000, 'yyyy-MM-dd HH:mm:ss')))";

        // 第一种方式：直接执行sql
//        TableResult tableResult = tEnv.executeSql(sql);

        //第二种方式：声明一个操作集合来执行sql
        StatementSet stmtSet = tEnv.createStatementSet();
        stmtSet.addInsertSql(sql);
        TableResult tableResult = stmtSet.execute();

        tableResult.print();
    }
}

打印结果

+-------------------------------------------+
| default_catalog.default_database.my_users |
+-------------------------------------------+
|                                        -1 |
+-------------------------------------------+
1 row in set