- 博客(7)
- 收藏
- 关注
RSS订阅原创 Apache Paimon 部分列更新功能
Paimon在数据同步的过程中支持动态捕获源数据库的Schema变更，并将变化实时更新到Paimon表中，同时会保留每次变更的Schema的json文件到HDFS中，本次主要学习与测试在不中断流式作业的前提下，Paimon对于Schema变更的支持性。
2024-09-22 20:57:22
550
原创 Paimon 集成Flink CDC (二） Kafka
Flink提供了几种KafkaCDC格式:canal-json、debezium-json、ogg-json、maxwell-json。如果Kafka主题中的消息是使用更改数据捕获(CDC）工具从另一个数据库捕获的更改事件，则可以使用Paimon 的KafkaCDC。将解析后的INSERT、UPDATE、DELETE消息写入到paimon表中。
2024-09-19 19:54:08
1372
原创 Paimon 集成Flink CDC (一） MySQL
Apache Paimon集成并封装了flink CDC,并实现了多种cdc同步功能,如实时增量数据入湖，整库同步，表结构变更等。Paimon支持通过多种模式演化将数据提取到Paimon表中的方法，业务系统中增加的列会实时同步到Paimon中。
2024-09-18 20:18:51
1090
原创 Apache Paimon的Merge into
Apache Paimon通过提供action jar 包的方式来支持诸多复杂功能，其中很重要的一个功能就是merge into，通过该方式可以实现行级别的更新操作
2024-09-09 22:24:39
722
原创 Apache Paimon DDL 中的问题
Flink Paimon create table as 任务一直running 零进度； create tabe like ： [ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.catalog.exceptions.CatalogException: You specified the Path when creating the table, but the Path 'hdfs://node001:8020/
2024-09-08 19:21:51
665
原创 Spark调优（一）Spark的特性与瓶颈
Spark作为一种高效的大数据处理框架，已经成为业界标准。其火爆程度源自其高速的数据处理能力和易用性。对Spark的调优尤为重要，可提高作业执行效率、降低资源消耗、优化内存利用和提高系统稳定性。调优涉及参数设置、数据倾斜处理、任务调度等多方面，直接影响作业性能。。
2024-08-05 20:52:38
1032
原创 Hbase基本架构及原理
Hadoop Databases 基于Hadoop存储，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务
2022-10-26 23:05:29
644
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人