Apache Paimon学习记录

已于 2024-01-23 13:19:24 修改
阅读量76 收藏
点赞数 1
文章标签： 数据仓库 数据湖 实时数仓 paimon
于 2023-09-18 17:16:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43283487/article/details/132979360
版权

基本都是在官网的学习，简单记录一下其中的核心特点

Apache Paimon 官网

Apache Paimon | Apache Paimon

根据官网介绍去快速了解 paimon 是用来设计做什么，可以做什么，对比与其他数据湖有什么特点，如何使用

Paimon

特点

前身是Flink table Store,很多文档和特性都是一样的

支持批流一体，主要用来做实时数据湖

Paimon 并使用 LSM 树结构来支持大量数据更新和高性能查询

和Flink CDC整合，实时入湖更简单

支持 mysql 等直接同步到 paimon，且支持表结构变更

Paimon 的变更日志还可以存储到外部日志系统（例如 Kafka）中或从外部日志系统（例如 Kafka）中消费

支持 hive presto spark flink 等多种计算引擎

支持hdfs oss s3等多种储存

基本概念和存储特点

Basic Concepts | Apache Paimon

了解本专栏 订阅专栏 解锁全文 超级会员免费看
orange大数据技术探索者
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
流式数据湖Paimon课程完整课件内容
11-08
适合人群： 1、大数据开发岗位 2、大数据分析岗位 3、数据仓库岗位 4、需要构建湖仓一体架构的开发人员 你将会学到： Paimon核心原理及架构 快速上手使用Paimon Paimon中的表类型详解 Paimon的核心操作 Paimon中的CDC数据摄取功能 Hive引擎集成Paimon Paimon底层存储文件深入剖析 Paimon性能优化和管理维护
Apache Paimon 文件管理
http://www.54tianzhisheng.cn/
02-19 994
管理小文件许多用户关注小文件问题，可能导致以下情况：稳定性问题：HDFS 中如果存在太多小文件的话会导致 NameNode 压力过大成本问题：在 HDFS 中，每个小文件都会占用至少一个数据块的大小，例如 128 MB查询效率：查询过多小文件会影响查询效率理解 Checkpoint假设你正在使用 Flink Writer，每个 Checkpoint 会生成 1 ～ 2 个 snapshot，并且 ...
Apache Paimon配套资料包
07-29
Apache Paimon是流数据湖平台的一个配套包，它为用户提供了一种高效、可靠的方式来管理和处理大规模的实时数据。Paimon提供了丰富的工具和功能，包括数据摄取、实时数据处理和存储，以及数据查询与分析等功能。它能够帮助用户快速构建和部署实时数据处理流程，并支持多种数据源和数据格式的处理。Paimon的灵活性和扩展性使其成为处理大规模实时数据的理想选择，为用户提供了强大的数据处理能力和高效的数据管理体验。
数据湖 paimon flink 0.5版本 jar 包
11-08
使用Flink操作Paimon 数据湖 时需要用到的jar包。
paimon.live
03-05
用户工作流
Apache Paimon官网学习记录
01-29 1322
paimon在官网的学习，简单记录一下其中的核心特点。
流数据湖平台Apache Paimon（一）概述
Maynor996的博客
07-29 3044
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。
Paimon:不和谐的机器人
03-10
Paimon:不和谐的机器人
数据仓库、数据中台、大数据平台的关系？
爱吃辣条的博客
04-19 1155
数据仓库，数据中台，大数据平台的关系？
【数据仓库工具箱】DW/BI系统的核心元素和基本要求
ALX3li的博客
04-21 615
DW/BI 环境划分为4个不同的，各具特色的组成部分。记录的是操作型系统，用于获取业务事务。源数据关注的是处理性能和可用性。源系统一般不维护历史信息，而这部分责任可以依靠好的数据仓库来实现。是处于操作型系统和数据展现区之间的部分，1. 获取是将数据从操纵型系统中导入数据仓库中，2. 数据转换，elt系统通过数据清洗/合并来自不同数据源的数据/复制数据等，增强数据价值，3.数据加载，实际构建和加载数据到展现区域的目标维度模型中。elt 过程的主要任务是识别维度和事实，因此其包含的子系统非常重要。
UPS、蓄电池、空开、电缆配置计算方法.pptx
04-27
5G通信行业、网络优化、通信工程建设资料
node-v7.4.0.tar.xz
最新发布
04-27
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
Unity mesh减面工具 Mesh Simplify 1.12
04-27
Unity mesh减面工具 Mesh Simplify 1.12
基于Springboot+Vue酒店客房入住管理系统-毕业源码案例设计.zip
04-27
网络技术和计算机技术发展至今，已经拥有了深厚的理论基础，并在现实中进行了充分运用，尤其是基于计算机运行的软件更是受到各界的关注。加上现在人们已经步入信息时代，所以对于信息的宣传和管理就很关键。系统化是必要的，设计网上系统不仅会节约人力和管理成本，还会安全保存庞大的数据量，对于信息的维护和检索也不需要花费很多时间，非常的便利。 网上系统是在MySQL中建立数据表保存信息，运用SpringBoot框架和Java语言编写。并按照软件设计开发流程进行设计实现。系统具备友好性且功能完善。 网上系统在让售信息规范化的同时，也能及时通过数据输入的有效性规则检测出错误数据，让数据的录入达到准确性的目的，进而提升数据的可靠性，让系统数据的错误率降至最低。 关键词：vue；MySQL；SpringBoot框架 【引流】 Java、Python、Node.js、Spring Boot、Django、Express、MySQL、PostgreSQL、MongoDB、React、Angular、Vue、Bootstrap、Material-UI、Redis、Docker、Kubernetes
JAVA扫雷游戏程序+源码
04-27
扫雷游戏是一款经典的计算机游戏，它的目标是在一个方格矩阵中找出所有隐藏的地雷。玩家需要通过点击方格来揭示其内容，如果方格中有地雷，则游戏结束；如果没有地雷，则会显示周围8个方格中地雷的数量。玩家需要根据这些信息来判断哪些方格是安全的，并继续点击其他方格。 在JAVA扫雷游戏程序中，我们使用了一个二维数组来表示游戏的方格矩阵。每个方格可以包含以下三种状态之一：未被揭示、有地雷或安全。我们还使用了一些辅助变量来跟踪游戏中的状态，例如已揭示的方格数量和剩余的地雷数量。 当玩家点击一个方格时，程序会检查该方格是否已经被揭示。如果是，则不做任何操作；否则，程序会揭示该方格的内容，并根据其是否包含地雷来更新游戏状态。如果方格中有地雷，则游戏结束；否则，程序会递归地揭示周围的方格，直到遇到已经揭示的方格为止。 为了提高游戏的可玩性，我们可以添加一些额外的功能，例如计时器、难度级别选择和自定义方格大小等。此外，我们还可以使用图形用户界面（GUI）来美化游戏界面，使其更加友好和易于操作。
python-3.8.19-amd64-full.exe
04-27
仅供个人娱乐使用，不要乱用造成侵权，搬运自git删hub.co除m/ad中ang1345/Pyt文honW部ind分ows
网络安全网络安全视频教程56讲全在线地址.txt
04-27
【网络安全】网络安全视频教程56讲全在线地址.txt
299-企业数字化转型方案20220804.pptx
04-27
299-企业数字化转型方案20220804.pptx
paimon与doris
01-28
Paimon与Doris是两个不同的数据存储引擎，它们具有不同的特点和用途。 Paimon是一个实时流数据湖平台，早期被称为Flink Table Store。它提供了高速数据采集、更改数据跟踪和高效实时分析的功能。Paimon可以用于处理实时流数据，并将数据存储在数据湖中，以便后续的分析和查询。Paimon的官网可以提供更详细的信息。 Doris是一个开源的分布式列式存储系统，也被称为Palo。它专注于快速的数据分析和查询。Doris使用列式存储和多维索引来提供高效的数据访问和查询性能。它支持实时数据写入和快速的数据查询，并且具有良好的可扩展性和容错性。Doris的开发正在进行中，未来可能会与Paimon进行交互。 总结起来，Paimon是一个实时流数据湖平台，而Doris是一个分布式列式存储系统。它们都有自己的特点和用途，可以根据具体的需求选择合适的引擎。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

orange大数据技术探索者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值