新一代数据湖存储技术Apache Paimon入门Demo，【原理+实战+视频+源码

于 2024-04-18 11:19:41 发布
阅读量326 收藏 5
点赞数 3
分类专栏： 2024年程序员学习 文章标签： apache 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166836/article/details/137913707
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

    tableEnv.executeSql("CREATE TEMPORARY TABLE IF NOT EXISTS word_table_api (\n" +
            "    word STRING\n" +
            ") WITH (\n" +
            "    'connector' = 'datagen',\n" +
            "    'fields.word.length' = '1'\n" +
            ")");

    // tableEnv.executeSql("SET 'execution.checkpointing.interval' = '10 s'");

    tableEnv.executeSql("INSERT INTO word_count_api SELECT word, COUNT(*) FROM word_table_api GROUP BY word");

    env.execute();
}

}


#### 2.2 IDEA中成功运行


![](https://img-blog.csdnimg.cn/c8fdab5d232f4e06bce0dd4c5b2af0ab.png)


### 3、IDEA中Stream读写


#### 3.1 流写


代码：

package com.study.flink.table.paimon.demo;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.StatementSet;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

/**

  • @Author: YK.Leo
  • @Date: 2023-05-17 11:11
  • @Version: 1.0
    */

// succeed at local ！！！
public class OfficeStreamsWriteV2 {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    env.setParallelism(1);
    env.enableCheckpointing(10000L);
    env.getCheckpointConfig().setCheckpointStorage("file:/D:/tmp/paimon/");

    TableEnvironment tableEnv = StreamTableEnvironment.create(env);


    // 0. Create a Catalog and a Table
    tableEnv.executeSql("CREATE CATALOG my_catalog_local WITH (\n" +
            "    'type'='paimon',\n" +                           // todo: !!!
            "    'warehouse'='file:///D:/tmp/paimon'\n" +
            ")");

    tableEnv.executeSql("USE CATALOG my_catalog_local");

    tableEnv.executeSql("CREATE DATABASE IF NOT EXISTS my_catalog_local.local_db");
    tableEnv.executeSql("USE local_db");

    // drop tbl
    tableEnv.executeSql("DROP TABLE IF EXISTS paimon_tbl_streams");
    tableEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_tbl_streams(\n"
            + " uuid bigint,\n"
            + " name VARCHAR(3),\n"
            + " age int,\n"
            + " ts TIMESTAMP(3),\n"
            + " dt VARCHAR(10), \n"
            + " PRIMARY KEY (dt, uuid) NOT ENFORCED \n"
            + ") PARTITIONED BY (dt) \n"
            + " WITH (\n" +
            "    'merge-engine' = 'partial-update',\n" +
            "    'changelog-producer' = 'full-compaction', \n" +
            "    'file.format' = 'orc', \n" +
            "    'scan.mode' = 'compacted-full', \n" +
            "    'bucket' = '5', \n" +
            "    'sink.parallelism' = '5', \n" +
            "    'sequence.field' = 'ts' \n" +   // todo, to check
            ")"
    );

    // datagen ====================================================================
    tableEnv.executeSql("CREATE TEMPORARY TABLE IF NOT EXISTS source_A (\n" +
            " uuid bigint PRIMARY KEY NOT ENFORCED,\n" +
            " `name` VARCHAR(3)," +
            " _ts1 TIMESTAMP(3)\n" +
            ") WITH (\n" +
            " 'connector' = 'datagen', \n" +
            " 'fields.uuid.kind'='sequence',\n" +
            " 'fields.uuid.start'='0', \n" +
            " 'fields.uuid.end'='1000000', \n" +
            " 'rows-per-second' = '1' \n" +
            ")");
    tableEnv.executeSql("CREATE TEMPORARY TABLE IF NOT EXISTS source_B (\n" +
            " uuid bigint PRIMARY KEY NOT ENFORCED,\n" +
            " `age` int," +
            " _ts2 TIMESTAMP(3)\n" +
            ") WITH (\n" +
            " 'connector' = 'datagen', \n" +
            " 'fields.uuid.kind'='sequence',\n" +
            " 'fields.uuid.start'='0', \n" +
            " 'fields.uuid.end'='1000000', \n" +
            " 'rows-per-second' = '1' \n" +
            ")");

    //
    //tableEnv.executeSql("insert into paimon_tbl_streams(uuid, name, _ts1) select uuid, concat(name,'_A') as name, _ts1 from source_A");
    //tableEnv.executeSql("insert into paimon_tbl_streams(uuid, age, _ts1) select uuid, concat(age,'_B') as age, _ts1 from source_B");
    StatementSet statementSet = tableEnv.createStatementSet();
    statementSet
            .addInsertSql("insert into paimon_tbl_streams(uuid, name, ts, dt) select uuid, name, _ts1 as ts, date_format(_ts1,'yyyy-MM-dd') as dt from source_A")
            .addInsertSql("insert into paimon_tbl_streams(uuid, age, dt) select uuid, age, date_format(_ts2,'yyyy-MM-dd') as dt from source_B")
            ;

    statementSet.execute();
    // env.execute();
}

}


结果：


![](https://img-blog.csdnimg.cn/56d9290f711c47e7bf18c2ee69e15644.png)


       如果只有一个流，上述代码完全没有问题【仅作为write demo一个流即可】，两个流会出现“写冲突”问题！


如下：


![](https://img-blog.csdnimg.cn/2cd69062d45f4510b34a85ff71a3d3d5.png)


        使用了官网的方法：[Dedicated Compaction Job]( )，似乎并没有奏效，至于解决方法请看下文 “**二、进阶：本地（IDEA）多流拼接测试**”； 


#### 3.2 流读（toChangeLogStream）


代码：

package com.study.flink.table.paimon.demo;

import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Schema;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.connector.ChangelogMode;
import org.apache.flink.types.Row;
import org.apache.flink.types.RowKind;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

/**

  • @Author: YK.Leo
  • @Date: 2023-05-15 18:50
  • @Version: 1.0
    */

// 流读单表OK！
public class OfficeStreamReadV1 {

public static final Logger LOGGER = LogManager.getLogger(OfficeStreamReadV1.class);

public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    env.setParallelism(1);
    env.enableCheckpointing(10000L);
    env.getCheckpointConfig().setCheckpointStorage("file:/D:/tmp/paimon/");

    TableEnvironment tableEnv = StreamTableEnvironment.create(env);


    // 0. Create a Catalog and a Table
    tableEnv.executeSql("CREATE CATALOG my_catalog_local WITH (\n" +
            "    'type'='paimon',\n" +                           // todo: !!!
            "    'warehouse'='file:///D:/tmp/paimon'\n" +
            ")");

    tableEnv.executeSql("USE CATALOG my_catalog_local");

    tableEnv.executeSql("CREATE DATABASE IF NOT EXISTS my_catalog_local.local_db");
    tableEnv.executeSql("USE local_db");

    // 不需要再次创建表

    // convert to DataStream
    // Table table = tableEnv.sqlQuery("SELECT * FROM paimon_tbl_streams");
    Table table = tableEnv.sqlQuery("SELECT * FROM paimon_tbl_streams WHERE name is not null and age is not null");
    // DataStream<Row> dataStream = ((StreamTableEnvironment) tableEnv).toChangelogStream(table);
    // todo : doesn't support consuming update and delete changes which is produced by node TableSourceScan
    // DataStream<Row> dataStream = ((StreamTableEnvironment) tableEnv).toDataStream(table);
    // 剔除 -U 数据（即：更新前的数据不需要重新发送，剔除）！！！
    DataStream<Row> dataStream = ((StreamTableEnvironment) tableEnv)
            .toChangelogStream(table, Schema.newBuilder().primaryKey("dt","uuid").build(), ChangelogMode.upsert())
            .filter(new FilterFunction<Row>() {
                @Override
                public boolean filter(Row row) throws Exception {
                    boolean isNoteUpdateBefore = !(row.getKind().equals(RowKind.UPDATE_BEFORE));
                    if (!isNoteUpdateBefore) {
                        LOGGER.info("UPDATE_BEFORE: " + row.toString());
                    }
                    return isNoteUpdateBefore;
                }
            })
            ;

    // use this datastream
    dataStream.executeAndCollect().forEachRemaining(System.out::println);

    env.execute();
}

}


结果：


![](https://img-blog.csdnimg.cn/69fb1657b5c744189a57725f10513310.png)


## 


## 二、进阶：本地（IDEA）多流拼接测试


#### 要解决的问题：


        多个流拥有相同的主键，每个流更新除主键外的部分字段，通过主键完成多流拼接。


#### note：


        如果是两个Flink Job 或者 两个 pipeline 写同一个paimon表，则直接会产生conflict，其中一条流不断exception、重启；


        可以使用 “UNION ALL” 将多个流合并为一个流，最终一个Flink job写paimon表；


        使用主键表，'merge-engine' = 'partial-update' ；


### 1、'changelog-producer' = 'full-compaction'


#### （1）multiWrite代码

package com.study.flink.table.paimon.multi;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.StatementSet;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

/**

  • @Author: YK.Leo
  • @Date: 2023-05-18 10:17
  • @Version: 1.0
    */

// Succeed as local ！！！
// 而且不会产生conflict，跑5分钟没有任何异常(公司跑几天无异常)！ 数据也可以在另一个job流读！
public class MultiStreamsUnionWriteV1 {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
env.enableCheckpointing(10*1000L);
env.getCheckpointConfig().setCheckpointStorage(“file:/D:/tmp/paimon/”);
TableEnvironment tableEnv = StreamTableEnvironment.create(env);

    // 0. Create a Catalog and a Table
    tableEnv.executeSql("CREATE CATALOG my_catalog_local WITH (\n" +
            "    'type'='paimon',\n" +                           // todo: !!!
            "    'warehouse'='file:///D:/tmp/paimon'\n" +
            ")");
    tableEnv.executeSql("USE CATALOG my_catalog_local");

    tableEnv.executeSql("CREATE DATABASE IF NOT EXISTS my_catalog_local.local_db");
    tableEnv.executeSql("USE local_db");

    // drop & create tbl
    tableEnv.executeSql("DROP TABLE IF EXISTS paimon_tbl_streams");
    tableEnv.executeSql("CREATE TABLE IF NOT EXISTS paimon_tbl_streams(\n"
            + " uuid bigint,\n"
            + " name VARCHAR(3),\n"
            + " age int,\n"
            + " ts TIMESTAMP(3),\n"
            + " dt VARCHAR(10), \n"
            + " PRIMARY KEY (dt, uuid) NOT ENFORCED \n"
            + ") PARTITIONED BY (dt) \n"
            + " WITH (\n" +
            "    'merge-engine' = 'partial-update',\n" +
            "    'changelog-producer' = 'full-compaction', \n" +
            "    'file.format' = 'orc', \n" +
            "    'scan.mode' = 'compacted-full', \n" +
            "    'bucket' = '5', \n" +
            "    'sink.parallelism' = '5', \n" +
            // "    'write_only' = 'true', \n" +
            "    'sequence.field' = 'ts' \n" +   // todo, to check
            ")"
    );

    // datagen ====================================================================
    tableEnv.executeSql("CREATE TEMPORARY TABLE IF NOT EXISTS source_A (\n" +
            " uuid bigint PRIMARY KEY NOT ENFORCED,\n" +
            " `name` VARCHAR(3)," +
            " _ts1 TIMESTAMP(3)\n" +
            ") WITH (\n" +
            " 'connector' = 'datagen', \n" +
            " 'fields.uuid.kind'='sequence',\n" +
            " 'fields.uuid.start'='0', \n" +
            " 'fields.uuid.end'='1000000', \n" +
            " 'rows-per-second' = '1' \n" +
            ")");
    tableEnv.executeSql("CREATE TEMPORARY TABLE IF NOT EXISTS source_B (\n" +
            " uuid bigint PRIMARY KEY NOT ENFORCED,\n" +
            " `age` int," +
            " _ts2 TIMESTAMP(3)\n" +
            ") WITH (\n" +
            " 'connector' = 'datagen', \n" +
            " 'fields.uuid.kind'='sequence',\n" +
            " 'fields.uuid.start'='0', \n" +
            " 'fields.uuid.end'='1000000', \n" +
            " 'rows-per-second' = '1' \n" +
            ")");

    //
    StatementSet statementSet = tableEnv.createStatementSet();
    String sqlText = "INSERT INTO paimon_tbl_streams(uuid, name, age, ts, dt) \n" +
            "select uuid, name, cast(null as int) as age, _ts1 as ts, date_format(_ts1,'yyyy-MM-dd') as dt from source_A \n" +
            "UNION ALL \n" +
            "select uuid, cast(null as string) as name, age, _ts2 as ts, date_format(_ts2,'yyyy-MM-dd') as dt from source_B"
            ;
    statementSet.addInsertSql(sqlText);

    statementSet.execute();
}

}


读代码同上。


#### （2）读延迟


        即：从client数据落到paimon，完成与server的join，再到被Flink-paimon流读到的时间延迟；


       **分钟级别延迟**！


### 2、'changelog-producer' = 'lookup'


读写同上，建表时修改参数即可： changelog-producer='lookup'，与此匹配的scan-mode需要分别配置为 'latest' ；


lookup延迟性可能会更低，但是数据质量有待验证。



**note：**


经测试，在企业生产环境中full-compaction模式目前一切稳定（两条join的流QPS约3K左右，延迟2-3分钟）。


         99.9%的数据延迟在2-3分钟；


        （multiWrite的checkpoint间隔为60s时）


![](https://img-blog.csdnimg.cn/96b644ab0d2f40a0921f9b8cbb268752.png)



## 三、可能遇到的问题


1. Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory


原因：org.codehaus.janino 依赖冲突,


办法：全部exclude掉


<exclude>org.codehaus.janino:\*</exclude>


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/c63eefb35c0eb3640e7013777e5675f4.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory


原因：org.codehaus.janino 依赖冲突,


办法：全部exclude掉


<exclude>org.codehaus.janino:\*</exclude>


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-X1zQ3qTz-1713410309693)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84166836
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
流式数据湖Paimon课程完整课件内容
11-08
适合人群： ...Paimon核心原理及架构 快速上手使用Paimon Paimon中的表类型详解 Paimon的核心操作 Paimon中的CDC数据摄取功能 Hive引擎集成Paimon Paimon底层存储文件深入剖析 Paimon性能优化和管理维护
基于 Flink SQL + Paimon 构建流式湖仓新方案.pdf
01-25
基于 Flink SQL + Paimon 构建流式湖仓新方案.pdf
流式数据湖存储技术，Apache Paimon是什么？
热门推荐
一个写湿的程序猿
03-30 1万+
是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。
新一代数据湖存储技术Apache Paimon入门Demo
Leonardo_KY的博客
05-22 9504
新一代数据湖存储技术Apache Paimon（Flink Table Store）入门Demo，本文给出了一些简单的flink-paimon样例（example），可供快速学习上手（文中所有代码均已跑通）。
流数据湖平台Apache Paimon（一）概述
Maynor996的博客
07-29 3084
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
基于apache paimon实时数仓全增量一体实时入湖
xiaosannimei的博客
05-24 2917
flink + paimon 全量 + 实时增量的数据入湖
为什么Paimon值得期待？
None
03-23 2475
前段时间 Flink table store 更名为 Apache Pimon ，并重新进入Apache incubator。截止目前，incubator-paimon项目已经在github上收获了600+ Star（https://github.com/apache/incubator-paimon）：之前虽然了解到Fink table store，但是没空去了解它，趁此机会，我也花了2天时间来...
Apache Paimon配套资料包
07-29
Apache Paimon是流数据湖平台的一个配套包，它为用户提供了一种高效、可靠的方式来管理和处理大规模的实时数据。Paimon提供了丰富的工具和功能，包括数据摄取、实时数据处理和存储，以及数据查询与分析等功能。它...
数据湖 paimon flink 0.5版本 jar 包
11-08
使用Flink操作Paimon 数据湖 时需要用到的jar包。
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
01-27
ApacheHudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fast upsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点，加上项目各成员积极地社区建设，包括技术细节分享...
新一代开源流数据湖平台Apache Paimon入门实操-上
itxiaoshen博客
08-03 1820
本篇介绍一个强大的流数据湖平台，Flink官方开创，发展速度迅速，先了解其基本定义、适用场景和原理，然后基于yarn方式部署和测试，最后通过Catalog管理、创建表和修改多个示例了解基本使用
基于Apache Paimon实现流式数仓实践
微信搜：import_bigdata，大数据领域硬核原创作者
07-04 1899
300万字！全网最全大数据学习面试社区等你来！摘要本文主要介绍作为供应链物流服务商海程邦达在数字化转型过程中采用 Paimon 实现流式数仓的落地方案。我们提供一个适用于 k8s 环境并且易于上手的生产操作手册，旨在帮助读者快速掌握 Paimon 的使用方法。公司业务情况介绍大数据技术痛点以及选型生产实践问题排查分析未来规划01公司业务情况介绍海程邦达集团一直专注于供应链物流领域，通过打造优秀的国...
Apache Paimon生产环境表模式最佳实践
微信搜：import_bigdata，大数据领域硬核原创作者
02-18 512
01前言Apache Paimon 作为数据湖对各种场景有着完整的功能支持，看完这篇文章，你可以了解到 Paimon 有哪几种表模式。对应哪些场景。此文部分内容来自 Paimon 官网：https://paimon.apache.org/docs/master/02概览上图描述了大致所有表模式的配置及能力，在下文中，会逐个简单介绍下。以上的所有表模式在最新版本中已得到生产验证。03主键表主键表是 ...
巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践
Ververica的博客
04-27 926
本文主要介绍巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。
【徐葳】流式数据湖新秀-Apache Paimon
11-03
为什么要学习这门课程？·新一代流式数据湖技术组件深入讲解，帮助你快速构造数据湖知识体系。·为构建湖仓一体架构提供底层技术支撑。本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解，原理+实战，帮助你快速上手使用数据湖技术。讲师介绍华为HCIP认证大数据高级工程师北京猎豹移动大数据技术专家中科院大数据研究院大数据技术专家51CTO企业IT学院优秀讲师电子工业出版社2022年度优秀作者出版书籍：《Flink入门与实战》、《大数据技术及架构图解实战派》。本课程提供配套课件、软件、试题、以及源码。课程内容介绍：1、什么是Apache Paimon2、Paimon的整体架构3、Paimon的核心特点4、Paimon支持的生态5、基于Flink SQL操作Paimon6、基于Flink DataStream API 操作Paimon7、Paimon中的内部表和外部表8、Paimon中的分区表和临时表9、Paimon中的Primary Key表(主键表)10、Paimon中的Append Only表(仅追加表)11、Changelog Producers原理及案例实战12、Merge Engines原理及案例实战13、Paimon中的Catalog详解14、Paimon中的Table详解15、Paimon之Hive Catalog的使用16、动态修改Paimon表属性17、查询Paimon系统表18、批量读取Paimon表19、流式读取Paimon表20、流式读取高级特性Consumer ID21、Paimon CDC数据摄取功能22、CDC之MySQL数据同步到Paimon23、CDC之Kafka数据同步到Paimon24、CDC高级特性之Schema模式演变25、CDC高级特性之计算列26、CDC高级特性之特殊的数据类型映射27、CDC高级特性之中文乱码28、Hive引擎集成Paimon29、在Hive中配置Paimon依赖30、在Hive中读写Paimon表31、在Hive中创建Paimon表32、Hive和Paimon数据类型映射关系33、Paimon底层文件基本概念34、Paimon底层文件布局35、Paimon底层文件操作详解36、Flink流式写入Paimon表过程分析37、读写性能优化详细分析38、Paimon中快照、分区、小文件的管理39、管理标签(自动管理+手工管理)40、管理Bucket(创建+删除+回滚)
Apache SeaTunnel 和 Paimon 的爱恨情仇
weixin_54625990的博客
05-31 1144
大家好，我叫蒋晓峰，哔哩哔哩资深开发工程师，也是Apache Paimon PPMC，今天我要给大家分享的主题是 Apache SeaTunnel 架构的剖析与 Apache Paimon 集成。文｜蒋晓峰编辑整理｜曾辉讲师介绍蒋晓峰哔哩哔哩资深开发工程师01Apache SeaTunnel 设计目标在大数据行业快速发展的今天，各类数据库和数据仓库等技术不断产生和发展。对于企业来说，如何同步异...
Paimon 专题上线｜从 0 到 1 入门新一代流式数据湖存储
Ververica的博客
04-13 1392
Flink-learning 学训平台第 2 期课程——Paimon 专题上线啦！
Apache Paimon系列之：主键表
最新发布
zhengzaifeidelushang的博客
03-13 1601
创建表时，可以通过指定字段来指定“sequence.field”来确定更新的顺序，也可以指定“rowkind.field”来确定记录的changelog种类。如果你觉得“lookup”的资源消耗太大，可以考虑使用“full-compaction”的changelog Producer，它可以解耦数据写入和changelog生成，更适合高延迟的场景（例如10分钟） ）。先到达的key会落入旧的bucket，新的key会落入新的bucket，bucket和key的分布取决于数据到达的顺序。
flink + Paimon
09-16
Flink和Paimon是两个不同的技术。Flink是一种流处理引擎，用于实时数据处理和分析。而Paimon是一种流式数据湖存储技术，用于提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。在这里，使用Flink和Paimon进行多流拼接，可以解决离线数据拼接时效性和Flink实时状态过大的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值