Amoro Community-CSDN博客

原创浙江电信基于 Amoro + Apache Iceberg 构建实时湖仓实践

浙江电信大数据架构革新选型 Apache Iceberg和 Amoro 打造实时湖仓。Amoro 的 optimizing 能力管理实时写入的 Iceberg 表近1万+ 张

2023-12-25 18:23:35 990

原创有道基于 Amoro Mixed Format 构建准实时湖仓实践

有道基于Amoro进行传统数据链路改造，共建实时数据湖平台。链路时效性提升到分钟级，同时降低了约50%的开发和运维成本。

2023-12-18 16:56:55 959 1

原创 Amoro 试用&贡献活动 | 10月社区评选揭晓

我来自企查查大数据架构部，之前对 Apache Flink、Flink CDC、Debezium 都有一些小的贡献，参与度不高，第一次深度参与一个开源项目。

2023-12-04 14:42:37 742 1

原创思科基于 Amoro + Apache Iceberg 构建云原生湖仓实践

S3 Intelligent-Tiering 存储类自动将对象存储在三个访问层中：一个针对频繁访问进行了优化的层，一个针对不频繁访问进行了优化的更低成本的层，以及一个针对很少访问的数据优化的极低成本层。我们的 AMS 服务和读写 Job 都是运行在 Kubernetes 上，因此可以天然使用 Namespace 作为单位来分配 IAM 账号，管理好每个人的相关 namespace 的权限，进而可以简单实现 Iceberg 表的权限控制，后面也会对 S3 和 Glue 权限做更详细的划分。

2023-11-17 15:44:08 138

原创 Amoro 0.6.0 版本正式发布 | 集成 Kubernetes 与 S3，支持 Apache Paimon

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。上面的例子开启了 user 表上的分区自动过期功能，AMS 会自动淘汰超过30天的分区。移除了对 Flink-1.12 和 Flink-1.14 的支持，新加了 Flink-1.16 和 Flink-1.17 版本的支持。

2023-11-17 15:12:48 284

原创 Amoro Mixed Format 适用场景及原理解析

Amoro Mixed Format，使用数据自动分桶、冲突自动解决等技术解决了“实时湖仓”与“流批一体”等场景需求。

2023-10-30 16:59:14 135 1

原创 Apache Iceberg + Amoro 构建云原生湖仓实战

本文系统地介绍了云原生湖仓（cloud native lakehouse）的概念，阐述基于云平台构建云原生湖仓的优势和挑战。Amoro 是构建在数据湖之上的开源湖仓管理系统，提供一系列可插拔组件的功能组件和自我管理的能力，提供开箱即用的湖仓体验，帮助数据平台或数据产品构建基础设施无关，流批融合的湖原生架构。

2023-09-26 16:03:36 998 3

Vvda_py的博客