Flink实战（七十七）：flink-sql使用（五）分离的 SQL 查询、SQL 视图、临时表（Temporal Table）

已于 2022-07-05 20:03:28 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： Flink系统性学习专栏 文章标签： flink sql kafka
于 2021-01-23 14:59:44 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/113049511
版权
本文介绍了Flink中如何进行分离的SQL查询，这种查询可长时间运行并输出到外部系统如Kafka。提交后，查询独立于SQL客户端运行，支持通过Flink的管理接口进行控制。接着讲解了SQL视图的概念，视图是虚拟表，只有在访问时才执行。最后阐述了临时表的作用，它用于查看历史记录表在特定时间点的内容，对于时间相关的联结操作非常有用。
摘要由CSDN通过智能技术生成

分离的 SQL 查询

为定义端到端的 SQL 管道，SQL 的 INSERT INTO 语句可以向 Flink 集群提交长时间运行的分离查询。查询产生的结果输出到除 SQL 客户端外的扩展系统中。这样可以应对更高的并发和更多的数据。CLI 自身在提交后不对分离查询做任何控制。

INSERT INTO MyTableSink SELECT * FROM MyTableSource

sink MyTableSink 必须在环境配置文件中声明。查看更多关于 Flink 支持的外部系统及其配置信息，参见 connection page。如下展示 Apache Kafka 的 sink 示例。

复制代码

tables:
  - name: MyTableSink
    type: sink-table
    update-mode: append
    connector:
      property-version: 1
      type: kafka
      v
了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
FlinkSQL中间表使用零时表Temporary TABLE
科学的N次方
05-30 1612
SET table.sql-dialect=hive; use catalog myhive; CREATE TABLE IF NOT EXISTS sink_parent_info( etl_date STRING ,id BIGINT ,user_id BIGINT ,height DECIMAL(5,2) ,weight DECIMAL(5,2) ,b
基于FlinkSQL流式处理的练习(Temporal Table的使用)
myskyzcb的博客
06-09 1063
Flink的表API是一种类似SQL的表达式语言，用于关系流和批处理，可以嵌入Flink的Java和Scala数据集和数据流API中。表API和SQL接口在关系表抽象上运行，可以从外部数据源或现有数据流和数据集创建表。表API支持关系运算符，如表上的选择、聚合和连接等。 也可以使用常规SQL查询表。表API提供了和SQL相同的功能，可以在同一程序中混合使用。将表转换回数据集或数据流时，由关系运算符和SQL查询定义的逻辑计划将使用Apache Calcite进行优化，并转换为数据集或数据流程序 ...
Flink SQL 初体验(2)
moxiaoxin97的博客
01-20 4217
TableEnvironment 的核心概念 表的API
Flink SQL中的动态表和临时表
热门推荐
huahuaxiaoshao的博客
07-22 1万+
1 动态表 1.1 数据流上的关系查询       关系型SQL与stream processing对比如下： SQL 流处理 有限元组 无限元组 完整数据集上的查询 无法基于所有数据查询 查询会结束 查询不会结束       Materialized View被定义为一条SQL查询，其会缓存查询结果。但当所查询的表(基表)被修改时，缓存的结果将过期。· &nb
flink-入门功能整合(udf,创建临时表table,使用flink sql)
superMario
03-02 1902
说明 本次测试用scala,java版本大体都差不多,不再写两个版本了 StreamTableEnvironment做了很多调整,目前很多网上的样例使用的都是过时的api,本次代码测试使用的都是官方doc中推荐使用的新api 本次测试代码主要测试了三个基本功能:1.UDF 2.流处理Table的创建以及注册 3.Flink Sql 代码 import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.scala.{Da
Flink SQL之时态表（Temporal Tables）
蔡政洁的博客
04-09 2597
目录 时态表（Temporal Table）是一张随时间变化的表 – 在 Flink 中称为动态表，时态表中的每条记录都关联了一个或多个时间段，所有的 Flink 表都是时态的（动态的）。 时态表包含表的一个或多个有版本的表快照，时态表可以是一张跟踪所有变更记录的表（例如数据库表的 changelog，包含多个表快照），也可以是物化所有变更之后的表（例如数据库表，只有最新表快照）。 版本: 时态表可以划分成一系列带版本的表快照集合，表快照中的版本代表了快照中所有记录的有效区间，有效区间的开始时间和结束时间可
基于 Flink 实现解决数据库分库分表任务拆分
中间件兴趣圈
11-17 3522
1、场景描述 例如订单库进行了分库分表，其示例如下图所示： 现在的需求是希望创建一个任务就将数据同步到MQ集群，而不是为每一个数据库实例单独创建一个任务，将其数据导入到MQ集群，因为同步任务除了库不同之外，表的结构、数据映射规则都是一致的。 2、flinkx 的解决方案详解 2.1 fink Stream API 开发基本流程 使用 Flink Stream API 编程的通用步骤如下图所示： 温馨提示：有关 Stream API 的详细内容将在后续的文章中展开，本文主要是关注 InputFormat
FlinkSQL学习笔记（二）表定义详解
最新发布
weixin_37172178的博客
02-24 2026
表的表示结构catalog name：元数据空间，常用于标识不同的“源”，比如hive catalog，inner catalog等；使得Flink里面创建的表hive中能查到，但是不一定可以取数，原因在于这里不同的“源”的定义在hive中没有，不一定可以查到。更多细节参考补充说明。database name：通常语义中的“库”table name：通常语义中的“表”表与视图FlinkSQL中的表，可以是Virtual的（view视图）和regular的（table常规表）
Flink SQL:Queries(Joins)
weixin_48813624的博客
10-27 868
Flink SQL:Queries(Joins)
flink实战--Temporal Table JOIN
阿华田的博客
05-16 2426
Temporal Table简介 在ANSI-SQL 2011中提出了Temporal 的概念，Oracle，SQLServer，DB2等大的数据库厂商也先后实现了这个标准。Temporal Table记录了历史上任何时间点所有的数据改动，Temporal Table是Append Only表上的参数化视图，它把Append Only的表变化解释为表的Changel...
掌握Flink SQL核心原理，解锁企业级流批数据处理新境界
击水三千里的专栏
09-09 786
Flink SQL结合动态表与持续查询，通过Table API和SQL简化流批数据处理，支持多种流连接方式，广泛应用于企业级数据平台
Flink之SQL查询操作
积跬步，至千里。
11-10 743
Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。
FlinkSql中表的创建及查询
qq_42456324的博客
10-24 6311
本文主要介绍FlinkSql中和以往的sql语句差异的地方
Flink CDC 系列 - 同步 MySQL 分库分表，构建 Iceberg 实时数据湖
.
01-17 3770
在 OLTP 系统中，为了解决单表数据量大的问题，通常采用分库分表的方式将单个大表进行拆分以提高系统的吞吐量。 但是为了方便数据分析，通常需要将分库分表拆分出的表在同步到数据仓库、数据湖时，再合并成一个大表。 这篇教程将展示如何使用 Flink CDC 构建实时数据湖来应对这种场景，本教程的演示基于 Docker，只涉及 SQL，无需一行 Java/Scala 代码，也无需安装 IDE，你可以很方便地在自己的电脑上完成本教程的全部内容。 接下来将以数据从 MySQL 同步到 Iceberg[1] 为例
Flink系列Table API和SQL之：表的查询
zhengzaifeidelushang的博客
12-31 1324
Flink系列Table API和SQL之：表的查询
Flink TableAPI Create Table
难得糊涂
03-23 2068
序言 基于最新的v1.14.4 梳理下批流统一的用法cuiyaonan2000@163.com 参考资料: 概念与通用 API | Apache Flink Catalog 标识符由三个部分组成：catalog 名称、数据库名称以及对象名称。如果 catalog 或者数据库没有指明，就会使用当前默认值 Table可以是虚拟的（视图VIEWS）也可以是常规的（表TABLES）。 临时表（Temporary Table） 视图VIEWS可以从已经存在的Table中创建，一般是 ...
FlinkSQL Client读取Kafka创建表
JustinMars的博客
06-22 477
先卸载上个版本的相关软件 yum -y remove docker docker-common docker-selinux docker-engine 安装 uname -r 查看当前内核版本(大于3.10) 安装docker的依赖包 yum install -y yum-utils lvm2 device-mapper-persistent-da...
Flink tableapi从kafka创建表
qq_43118086的博客
10-18 616
从kafka创建表 oldTableEnv.connect(new Kafka() .version(“0.11”) .topic(“sensor”) .property(“zookeeper.connect”, “localhost:2181”) .property(“bootstrap.servers”, “localhost:9092”) ).withFormat(new Csv()) .withSchema(new Schema() .field(“id”, DataTypes.STRING())
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值