3 Paimon数据湖中的表类型详解 Paimon中支持多种表类型,从全局维度来看,Paimon中的表类型可以大致划分为4种:内部表、外部表、分区表和临时表。从存储维度来看,Paimon中的表可以分为两种:Primary Key表,也可以称之为主键表。Append Only表,也可以称之为仅追加表。
2 快速上手使用Paimon数据湖 想要使用Paimon是非常简单的,不需要复杂的安装部署,只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API,所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。
1 快速了解Paimon数据湖核心原理及架构 Apache Paimon的前身属于Flink的子项目:Flink Table Store。目前业内主流的数据湖存储项目都是面向批处理场景设计的,在数据更新处理时效上无法满足流式数据湖的需求,因此Flink社区在2022年的时候内部孵化了 Flink Table Store (简称 FTS )子项目,一个真正面向流以及实时的数据湖存储项目。
Flink Table API 和 SQL之概述 Flink针对标准的流处理和批处理提供了两种相关的API,Table API和sql。TableAPI允许用户以一种很直观的方式进行select 、filter和join操作。Flink SQL支持基于Apache Calcite实现的标准SQL。针对批处理和流处理可以提供相同的处理语义和结果。Flink Table API、SQL接口和Flink的DataStream API、DataSe...
Flink EventTime和Watermarks案例分析 目录解释:1:实现watermark相关代码1.1:程序说明1.2:代码如下1.3:程序详解2:通过数据跟踪watermark的时间3:watermark+window处理乱序数据4:late element(延迟数据)的处理4.1:丢弃(默认)4.2:allowedLateness 指定允许数据延迟的时间4.3:sideOutputLateData 收...