实践数据湖iceberg 第二十五课 后台运行flink sql 增删改的效果

已于 2022-04-28 14:51:05 修改
阅读量2.2k 收藏 4
点赞数
分类专栏： flink iceberg 文章标签： hadoop hdfs kafka
于 2022-04-01 15:04:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spark_dev/article/details/123897972
版权
iceberg 同时被 2 个专栏收录
44 篇文章 115 订阅
订阅专栏
flink
38 篇文章 16 订阅
订阅专栏

系列文章目录

实践数据湖iceberg 第一课 入门
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
实践数据湖iceberg 第五课 hive catalog特点
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决
实践数据湖iceberg 第七课 实时写入到iceberg
实践数据湖iceberg 第八课 hive与iceberg集成
实践数据湖iceberg 第九课 合并小文件
实践数据湖iceberg 第十课 快照删除
实践数据湖iceberg 第十一课 测试分区表完整流程(造数、建表、合并、删快照)
实践数据湖iceberg 第十二课 catalog是什么
实践数据湖iceberg 第十三课 metadata比数据文件大很多倍的问题
实践数据湖iceberg 第十四课 元数据合并(解决元数据随时间增加而元数据膨胀的问题)
实践数据湖iceberg 第十五课 spark安装与集成iceberg(jersey包冲突)
实践数据湖iceberg 第十六课 通过spark3打开iceberg的认知之门
实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置
实践数据湖iceberg 第十八课 多种客户端与iceberg交互启动命令(常用命令)
实践数据湖iceberg 第十九课 flink count iceberg，无结果问题
实践数据湖iceberg 第二十课 flink + iceberg CDC场景(版本问题，测试失败)
实践数据湖iceberg 第二十一课 flink1.13.5 + iceberg0.131 CDC(测试成功INSERT,变更操作失败)
实践数据湖iceberg 第二十二课 flink1.13.5 + iceberg0.131 CDC(CRUD测试成功)
实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启
实践数据湖iceberg 第二十四课 iceberg元数据详细解析
实践数据湖iceberg 第二十五课 后台运行flink sql 增删改的效果
实践数据湖iceberg 第二十六课 checkpoint设置方法
实践数据湖iceberg 第二十七课 flink cdc 测试程序故障重启：能从上次checkpoint点继续工作
实践数据湖iceberg 第二十八课 把公有仓库上不存在的包部署到本地仓库
实践数据湖iceberg 第二十九课 如何优雅高效获取flink的jobId
实践数据湖iceberg 第三十课 mysql->iceberg，不同客户端有时区问题
实践数据湖iceberg 第三十一课 使用github的flink-streaming-platform-web工具，管理flink任务流，测试cdc重启场景
实践数据湖iceberg 更多的内容目录

文章目录

前言

代码中展示FLINK SQL 执行增删改的效果

一、JAVA 后台代码

1.代码

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class FlinkSqlCDC {

    public static void main(String[] args) throws Exception {
        //TODO 1.准备环境
        //1.1流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        //1.2 表执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        String createSql = "CREATE TABLE stock_basic_source(\n" +
                "  `i`  INT NOT NULL,\n" +
                "  `ts_code`     CHAR(10) NOT NULL,\n" +
                "  `symbol`   CHAR(10) NOT NULL,\n" +
                "  `name` char(10) NOT NULL,\n" +
                "  `area`   CHAR(20) NOT NULL,\n" +
                "  `industry`   CHAR(20) NOT NULL,\n" +
                "  `list_date`   CHAR(10) NOT NULL,\n" +
                "  `actural_controller`   CHAR(100),\n" +
                "    PRIMARY KEY(i) NOT ENFORCED\n" +
                ") WITH (\n" +
                "  'connector' = 'mysql-cdc',\n" +
                "  'hostname' = 'hadoop103',\n" +
                "  'port' = '3306',\n" +
                "  'username' = 'hive',\n" +
                "  'password' = '123456',\n" +
                "  'database-name' = 'xxzh_stock',\n" +
                "  'table-name' = 'stock_basic'\n" +
                ")" ;
        //TODO 2.创建动态表
        tableEnv.executeSql(createSql);

        tableEnv.executeSql("select * from stock_basic_source").print();

        //TODO 6.执行任务
        env.execute();
    }

}

2.pom

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <artifactId>flink-iceberg-learning</artifactId>
    <groupId>org.example</groupId>
    <version>1.0-SNAPSHOT</version>

    <modelVersion>4.0.0</modelVersion>

    <name>flink-iceberg-learning</name>
    <!-- FIXME change it to the project's website -->
    <url>http://www.example.com</url>

    <properties>
        <!-- project compiler -->
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <!-- maven compiler-->
        <scala.maven.plugin.version>3.2.2</scala.maven.plugin.version>
        <maven.compiler.plugin.version>3.8.1</maven.compiler.plugin.version>
        <maven.assembly.plugin.version>3.1.1</maven.assembly.plugin.version>
        <!-- sdk -->
        <java.version>1.8</java.version>
        <scala.version>2.12.12</scala.version>
        <scala.binary.version>2.12</scala.binary.version>
        <!-- engine-->
        <hadoop.version>2.7.2</hadoop.version>
        <flink.version>1.13.5</flink.version>
        <flink.cdc.version>2.0.2</flink.cdc.version>
        <iceberg.version>0.12.1</iceberg.version>
        <hive.version>2.3.6</hive.version>
        <!-- <scope.type>provided</scope.type>-->
        <scope.type>compile</scope.type>
    </properties>
    <dependencies>
        <!-- scala -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <!-- flink Dependency -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-core</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala-bridge_${scala.binary.version}
            </artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}
            </artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <!-- <= 1.13 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_${scala.binary.version}
            </artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <!-- 1.14 -->
        <!-- <dependency>-->
        <!-- <groupId>org.apache.flink</groupId>-->
        <!-- <artifactId>flink-table-planner_${scala.binary.version}
        </artifactId>-->
        <!-- <version>${flink.version}</version>-->
        <!-- <scope>${scope.type}</scope>-->
        <!-- </dependency>-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-orc_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_${scala.binary.version}
            </artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-kafka_${scala.binary.version}
            </artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_${scala.binary.version}
            </artifactId>
            <version>${flink.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-sql-connector-mysql-cdc</artifactId>
            <version>${flink.cdc.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <!-- iceberg Dependency -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-flink-runtime</artifactId>
            <version>${iceberg.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <!-- hadoop Dependency-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <scope>${scope.type}</scope>
        </dependency>
        <!-- hive Dependency-->
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>${hive.version}</version>
            <scope>${scope.type}</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.logging.log4j</groupId>
                    <artifactId>log4j-slf4j-impl</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.hive</groupId>
                    <artifactId>hive-llap-tez</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.antlr</groupId>
            <artifactId>antlr-runtime</artifactId>
            <version>3.5.2</version>
        </dependency>
        <dependency>
        <groupId>org.datanucleus</groupId>
        <artifactId>datanucleus-api-jdo</artifactId>
        <version>4.2.4</version>
    </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>${scala.maven.plugin.version}</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>${maven.assembly.plugin.version}</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

二、运行效果

1.启动，初始化数据

+----+-------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+
| op |           i |                        ts_code |                         symbol |                           name |                           area |                       industry |                      list_date |             actural_controller |
+----+-------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+--------------------------------+
| +I |           2 |                      000004.SZ |                         000004 |                       国华网安 |                           深圳 |                       软件服务 |                       19910114 |                         三体人 |
| +I |           1 |                      000002.SZ |                         000002 |                          万科A |                           深圳 |                       全国地产 |                       19910129 |                    星星之火!!! |
| +I |           4 |                      000006.SZ |                         000006 |                        深振业A |                           深圳 |                       区域地产 |                       19920427 |  深圳市人民政府国有资产监督... |
| +I |           3 |                      000005.SZ |                         000005 |                         ST星源 |                           深圳 |                       环境保护 |                       19901210 |                    郑列列,丁芃 |
| +I |           6 |                      000008.SZ |                         000008 |                       神州高铁 |                           北京 |                       运输设备 |                       19920507 |       国家开发投资集团有限公司 |
| +I |           5 |                      000007.SZ |                         000007 |                        *ST全新 |                           深圳 |                       酒店餐饮 |                       19920413 |                         (NULL) |
| +I |           7 |                      000009.SZ |                         000009 |                       中国宝安 |                           深圳 |                       电气设备 |                       19910625 |                         (NULL) |
| +I |           0 |                      000001.SZ |                         000001 |                       平安银行 |                           深圳 |                           银行 |                       19910403 |                         (NULL) |

2.新增数据

INSERT INTO `stock_basic` VALUES ('8', '000010.SZ', '000010', '美丽生态', '深圳', '建筑工程', '19951027', '沈玉兴');
INSERT INTO `stock_basic` VALUES ('9', '000011.SZ', '000011', '深物业A', '深圳', '区域地产', '19920330', '深圳市人民政府国有资产监督管理委员会');

控制台输出：

| +I |           8 |                      000010.SZ |                         000010 |                       美丽生态 |                           深圳 |                       建筑工程 |                       19951027 |                         沈玉兴 |
| +I |           9 |                      000011.SZ |                         000011 |                        深物业A |                           深圳 |                       区域地产 |                       19920330 |  深圳市人民政府国有资产监督... |

该处使用的url网络请求的数据。

3.修改数据

把id=0的remark修改为11111，运行效果如下：

-U 表示修改前， +U表示修改后。

| -U |           0 |                      000001.SZ |                         000001 |                       平安银行 |                           深圳 |                           银行 |                       19910403 |                         (NULL) |
| +U |           0 |                      000001.SZ |                         000001 |                       平安银行 |                           深圳 |                           银行 |                       19910403 |                          11111 |

4.删除数据

把id=9的进行删除，运行效果如下：

| -D |           9 |                      000011.SZ |                         000011 |                        深物业A |                           深圳 |                       区域地产 |                       19920330 |  深圳市人民政府国有资产监督... |

总结

flink sql 在java代码中体现增删改的运行效果

*星星之火*
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flinksql 删除/修改print表 再发布是否成功？
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
08-10 505
均不修改checkpoint的namespace： 1 如果把print表删除了，再发布会失败， 因为拓扑图已经改变。 2 如果把create的print表名修改了，再发布会成功 因为拓扑图没有改变。 end
数据湖（十八）：Flink与Iceberg整合SQL API操作
Lansonli（蓝深李）的博客
07-13 1377
文章目录Flink与Iceberg整合SQL API操作一、​​​​​​​SQL API 创建Iceberg表并写入数据1、创建新项目，导入如下maven依赖包2、编写Flink SQL 创建Iceberg表并写入数据3、在Hive中映射Iceberg表并查询二、​​​​​​​​​​​​​​SQL API 批量查询Iceberg表数据三、​​​​​​​​​​​​​​SQL API 实时查询Iceberg表数据四、​​​​​​​​​​​​​​SQL API指定基于快照实时增量读取数据Flink SQL 在操作
Iceberg 合并小文件并删除历史(Flink)
热门推荐
17611119847
10-14 3万+
Iceberg 合并小文件并删除历史(Flink) Iceberg每一次操作都会产生多个数据文件(metadata、data、snapshot)，需要自行合并清理。 详细Iceberg写入时文件变化请参考官网https://iceberg.apache.org/ 建表时新增with配置# iceberg使用代码合并小文件后如果不开启此配置，历史文件同样不会删除，开启后就会实现合并后清除历史文件(历史文件保留最大值为5，metadata和data里面文件数则始终保持为6个) # 启用提交后写入元数据
Apache Iceberg 0.13 特性介绍-Flink/Spark新版本支持、增量删除等特性来袭
杂记
02-23 1078
Apache Iceberg 社区刚刚发布了 0.13 版，其中有很多很棒的新增功能！在这篇文章中，我将介绍一些本版本的亮点功能。
构建现代数据湖
最新发布
MinIO
07-26 362
该数据的存储和后续分析需要是无缝的、可扩展的、安全的和高性能的。当涉及到非常大的文件时，Hadoop在批处理方面是有效的，但从效率和延迟的角度来看，较小的文件却受到了影响，这实际上使它过时了，因为企业寻求处理和消费框架，这些框架可以批量、CDC和实时摄取各种大大小小的数据集。Hadoop是开源的，使用具有成本效益的商用硬件，这提供了一种具有成本效益的模型，这与传统的关系数据库不同，传统的关系数据库需要昂贵的硬件和高端处理器来处理大数据。检查能力、不受锁定的自由以及来自数以万计的用户的舒适性具有真正的价值。
flink sink jdbc没有数据_Flink SQL实战 — 数据库的结合应用
weixin_28693683的博客
12-03 872
本篇是Flink SQL实战系列文章的第四篇，主要介绍JDBC connector和mysql-cdc与Flink SQL的结合使用。数据库通常作为生产环境数据源的核心存储，Flink SQL提供了JDBC connector通过JDBC协议来支持数据库的连接，只要兼容JDBC协议的数据库都可以通过该方式，包括MySQL/PostgreSQL/TiDB等。另外，基于数据库的CDC (Ch...
如何使用SQL系列 之 如何删除SQL中的数据
CHQIUU的专栏
09-04 1万+
为了学习本指南，你需要一台运行某种使用SQL的关系数据库管理系统(RDBMS)的计算机。本指南中的说明和示例使用以下环境进行了验证:在结构化查询语言中，通常被称为SQLDELETE语句是用户可用的最强大的操作之一。顾名思义，DELETE操作从数据库表中不可逆地删除一行或多行数据。作为数据管理的基本方面，对于SQL用户来说，理解DELETE语句的工作原理是很重要的。本指南将介绍如何使用SQL的DELETE语法从一个或多个表中删除数据。它还将解释SQL如何处理与外键约束冲突的DELETE操作。
实践数据湖iceberg 第四十一课 测试维表更新场景
spark_dev的博客
11-21 1001
flink sql 中kafka 表join mysql表，发现无法检测到mysql表到新增、update, 百度多篇文章，写得好像可以解决问题，但又没有详细的解决方法步骤，故而写本人，期后来者以填坑。本文记录测试思路、流程与结论。 测试结论：1.kaka做为驱动表源，可以通过lookup的方式，感知mysql维表的变化 2.iceberg表无法使用lookup方式，不能通过lookup感知mysql维表的变化
基于Flink+Iceberg构建企业级实时数据湖
04-02
基于Flink+Iceberg构建企业级实时数据湖
尚硅谷大数据技术之数据湖Iceberg-1.1.0.docx
03-06
### 冰山（Iceberg）数据湖技术概览 #### 1.1 冰山（Iceberg）简介 - **背景介绍**： - **开发背景**：为解决数据存储与计算引擎之间的适配问题，Netflix 发起了 Iceberg 项目。 - **发展历程**：Iceberg 在 ...
数据湖技术Iceberg的探索与实践.pdf
01-19
根据提供的文件信息，本文将重点探讨数据湖技术Iceberg的核心概念、优势以及其在实际应用场景中的价值，并结合Flink等工具进行深入分析。 ### 数据湖技术Iceberg简介 #### Iceberg是什么？ Iceberg是一种用于构建...
调研 FlinkSql功能测试及实战演练
chenzhihao的博客
07-22 1094
【调研】FlinkSql功能测试及实战演练 槐序i 2021-05-12 17:39:24 573 收藏 分类专栏： flink 版权 flink 专栏收录该内容 14 篇文章0 订阅 订阅专栏 FlinkSql功能测试及实战演练 前言：Flink在国内的占有率逐步提升的情况下，各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求，尝试研究flinksql的特性与功能，作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测试。本次测试主要集中在Kafka、mysql、Imp
Flink学习之flink sql
柳小葱的博客
02-19 1万+
???? 昨天我们学习完Table API后，今天我们继续学SQL，Table API和SQL可以处理SQL语言编写的查询语句，但是这些查询需要嵌入用Java、Scala和python编写的程序中。 hadoop专题: hadoop系列文章. spark专题: spark系列文章. flink专题: Flink系列文章. ????只需要具备 SQL 的基础知识即可，不需要其他编程经验。我的SQL 客户端选择的是docker安装的Flink SQL Click，大家根据自己的需求安装即可。 目录1. 1.
在数据量小的情况下，flink基于事件驱动，处理更新、删除、追加历史数据
JavaBigData的博客
07-26 1689
实现思想，每来一条数据，按照数据 更新、删除、追加三种情况直接用JDBC的方式更新数据库，然后在faltmap函数中，用最新的所有数据通过JDBC的处理，得到最新的结果，样例如下 package com.bai import java.sql import java.sql.{DriverManager, PreparedStatement, ResultSet, ResultSetMetaData} import com.alibaba.fastjson.{JSON, JSONObject} impo
Flink-sql平台怎么做？
旺旺的博客
08-05 657
目录 1.sql何执行? 2.用户udf jar包如何被flink客户端加载 3.flink jm 与tm如何加载udf jar 1.sql何执行? 模型管理平台：编写sql的平台 开发一个公共执行flink-sql的模型，在main函数中初始化flink-tableEnv，调用模型管理平台的接口，获取用于flink job的sql，然后调用api执行sql。 2.用户udf jar包如何被flink客户端加载 在编写sql页面，上传udf包，...
flink的基本操作
weixin_54868063的博客
03-23 3890
开启flink服务端：./start-cluster.sh 关闭flink服务端：./stop-cluster.sh 运行一个job: bin/flink run -c com.atguigu.wc.StreamWordCount -p 2 jar/testXXXXX.jar --host localhost -c: 任务的全类名。 -p：并行度 --host：模式 --port 7777 查看flink任务 : bin/flink list 查看所有flink任务 ：bin/flink
FLinkSQL+FlinkCDC
No_Mercy017R5的博客
02-20 2586
FlinkCDC（standalone模式）读取mysqlBinlog
flink学习35：flinkSQL查询mysql
hzp666的博客
02-02 1813
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.table.api.EnvironmentSettings import org.apache.flink.table.api.bridge.scala.{StreamTableEnvironment, tableConversions}object sqlQueryTable { def main(args: Ar
Flink-SQL
qq_45409791的博客
08-02 3162
1.抽象出来一个动态表，并未进行存储，是Flink支持流数据的tableAPI和sql的核心概念，随时间变化的，查询动态表会生成一个连续的查询，结果是一个动态表2.hive进入命令行需要先启动元数据服务，在查数据的时候数据是不变的3.除非是有界流，否则连续的查询是不会停止的4.将流转化（定义）成动态表，在动态表上计算一个连续的查询，生成一个新的动态表，最后转换成流，连续查询从不停止，会根据输入表上的更新对结果表进行更新。......
使用Flink和Iceberg构建实时数据湖实践
"基于Flink+Iceberg构建企业级实时数据湖(1).pdf" 这份资料讨论了如何利用Apache Flink和Iceberg技术来搭建企业级的实时数据湖解决方案。Apache Flink是一个强大的流处理框架，而Iceberg则是一种分布式数据存储系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值