iceberg
文章平均质量分 91
九剑问天
这个作者很懒,什么都没留下…
展开
-
走进 Iceberg Java API 系列 1- Catalog
随着Iceberg集成到越来越多的计算引擎中,有各种提供了强大功能的接口可以供你使用。本系列将介绍在没有引擎的情况下使用冰山表的底层Java API,而本文是本系列的第一篇。翻译 2022-06-30 12:22:42 · 2090 阅读 · 1 评论 -
Iceberg系列-API模块-Table相关概述-1
Iceberg 作为一个开放的 table format,从设计之初就有一个高度抽象的良好框架。本节将带领大家领略 Iceberg API 模块下与表相关的内容,主要涉及表的设计、分区规范、快照管理等,但本节将只讲接口设计相关,具体 Iceberg 对相关部分的核心具体实现,后述再详述。 进入正题,本次既然是讲与表相关的设计,那么我们肯定要从一等公民 Table 开始。Table在Iceberg中,Table 是顶层的核心概念之一,为了更好的理解它,我们首先将这个接口的方法分类列出,读者可以不必原创 2022-03-21 16:43:04 · 1420 阅读 · 0 评论 -
Iceberg顶层设计-FileIO:云原生表
在过去的几个月里,我们被问到很多关于 Iceberg FileIO 的问题,比如“它是否支持 Azure 或 Google Cloud?” 或“为什么不使用 Hadoop 中的 S3AFileSystem?”。基于这些对话,关于 FileIO 是什么以及它在各种存储提供者和处理引擎中扮演的角色,似乎存在相当多的困惑。这是一个绝佳的机会,可以更深入研究 Iceberg 的内部设计,并阐明它和传统方式在与存储层连接方面有何不同。...翻译 2022-03-21 14:08:30 · 588 阅读 · 0 评论 -
Docker、Spark 和 Iceberg:体验 Iceberg 的最快方式
如果您因为听说Iceberg解决了若干问题,例如模式演变或行级更新,而对Iceberg感兴趣,并且你想要一种简单的方法来体验它,那么您来对地方了!这篇文章将让您在本地几分钟内启动并运行 Spark 和 Iceberg。同时将展示出许多令人惊叹的 Iceberg 特性,这些特性可以解决您以前使用数据仓库时遇到的问题。翻译 2022-02-24 19:33:36 · 1409 阅读 · 0 评论 -
Apache Iceberg 0.13 特性介绍-Flink/Spark新版本支持、增量删除等特性来袭
Apache Iceberg 社区刚刚发布了 0.13 版,其中有很多很棒的新增功能!在这篇文章中,我将介绍一些本版本的亮点功能。翻译 2022-02-23 15:52:06 · 1009 阅读 · 0 评论 -
iceberg系列:源码- BinPacking 解读
在Iceberg中,有一个名为BinPacking的类,这个类在manifest文件和规划切分时使用频繁。我们这一章来解读此类。原创 2022-02-21 17:33:05 · 1152 阅读 · 0 评论