Apache Iceberg Research

最新推荐文章于 2024-05-19 23:10:17 发布
最新推荐文章于 2024-05-19 23:10:17 发布
阅读量843 收藏
点赞数
分类专栏： 大数据 文章标签： apache hive big data iceberg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yisuoyanyv/article/details/125082436
版权
Apache iceberg 的感性认知，架构，业务，特性，优点
摘要由CSDN通过智能技术生成

文章目录

官网及其他参考文档

官网
Apache Iceberg

GitHub - apache Iceberg

阿里云 iceberg产品对比与快速使用
Iceberg概述 (aliyun.com)

iceberg核心特性与架构
【2】数据湖架构中 Iceberg 的核心特性_TRX1024的博客-CSDN博客_数据湖iceberg

Catalog理解
Flink、Iceberg和Hive的Catalog比较研究——《滴普科技程序员部落》 - 知乎 (zhihu.com)

Apache Iceberg是什么？

Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to compute engines including Spark, Trino, PrestoDB, Flink and Hive using a high-performance table format that works just like a SQL table.
理解：
从这个定义上来看，Iceberg是一个用于海量数据分析场景下的开源的表格式（其实笔者更愿意用Table Format），也就是说Iceberg本质上是一个表格式。
那什么是表格式？表格式和我们熟悉的文件格式（File Format）是一回事吗？表和表格式是两个概念。表是一个具象的概念，应用层面的概念，我们天天说的表是简单的行和列的组合。而表格式是数据库系统实现层面一个抽象的概念，它定义了一个表中包含哪些字段，表下面文件的组织形式、表索引信息、统计信息以及上层查询引擎读取、写入表中文件的接口。

Apache Iceberg 是一种用于跟踪超大规模表的新格式，是专门为对象存储（如S3）而设计的。

发展历史

Apache Iceberg 是由 Netflix 开发开源的，其于 2018年11月16日进入 Apache 孵化器，是 Netflix公司数据仓库基础。在功能上和我们熟悉的 Delta Lake 或者 Apache Hudi 类似，但各有优缺点。

在数据仓库生态中的位置

具体理解看该文：Apache Iceberg 你需要知道的原理与技术
在这里插入图片描述

与Metastore的对比

上图右侧是Iceberg在数据仓库生态中的位置，和它差不多相当的一个组件是Metastore。

不过Metastore是一个服务，而Iceberg就是一系列jar包。既然Metastore和Iceberg我们认为都是表格式，那可以将两者在schema、partition、metadata/index以及读写api这几个方面做个对比：

1.schema基本相同。

两者底层都依赖于Parquet/ ORC等文件格式，这些文件格式都支持复杂数据类型，因此上层只需要做一些适配工作就可以支持复杂数据类型。
在这里插入图片描述

2.partition实现完全不同。两者在partition上有很大的不同：
Iceberg中partition字段就是表中的一个字段。Iceberg中每一张表都有一个对应的文件元数据表

3.表统计信息实现粒度不同。

4.读写API实现不同。

就是Metastore表格式不支持增量拉取，而Iceberg表格式支持增量拉取，同时Iceberg表格式支持文件级别的谓词过滤，查询性能更佳。

Iceberg表格式可以解决业务什么问题？

Iceberg可以解决业务的几大问题：
1.降低NameNode的list请求压力。[新partition模式]
2.提高查询性能。[新partition模式&&新表统计信息]
3.T+1离线数仓进化为分钟级别的准实时数仓。[新API提供了准实时增量消费]
4.所有数据基于Parquet等通用开源文件格式，没有lambad架构，不需要额外的运维成本和机器成本。
5.高效低成本的表schema和partition字段变更。[基于snapshot的schema/partition变更]

Why Apache IceBerg?

ache iceberg：Netflix 数据仓库的基石 - 知乎
(zhihu.com)

Netflix 面临的问题包括：

1、不安全的操作随处可见；
2、和对象存储交互有时候会出现很大的问题；
3、无休止的可扩展性挑战。
iceberg 是一种可伸缩的表存储格式，内置了许多最佳实践。

什么？是一种存储格式？可使我们已经有 Parquet，Avro 以及 ORC 这些格式了，为什么还要设计一种新格式？

Hive的不足与优势：

iceberg 允许我们在一个文件里面修改或者过滤数据；当然多个文件也支持这些操作。为了展示这点，我们来看看一张 Hive 表。
在这里插入图片描述

Hive 表的核心思想是把数据组织成目录树，如上所述。

如果我们需要过滤数据，可以在 where 里面添加分区相关的信息。

带来的问题是如果一张表有很多分区，我们需要使用 HMS（Hive MetaStore）来记录这些分区，同时底层的文件系统（比如 HDFS）仍然需要在每个分区里面记录这些分区数据。

这就导致我们需要在 HMS 和 文件系统里面同时保存一些状态信息；因为缺乏锁机制，所以对上面两个系统进行修改也不能保证原子性。

当然 Hive 这样维护表也不是没有好处。这种设计使得很多引擎（Hive、Spark、Presto、Flink、Pig）都支持读写 Hive 表，同时支持很多第三方工具。简单和透明使得 Hive 表变得不可或缺的。

Iceberg 的目标包括：

1、成为静态数据交换的开放规范，维护一个清晰的格式规范，支持多语言，支持跨项目的需求等。

2、提升扩展性和可靠性。能够在一个节点上运行，也能在集群上运行。所有的修改都是原子性的，串行化隔离。原生支持云对象存储，支持多并发写。
3、修复持续的可用性问题，比如模式演进，分区隐藏，支持时间旅行、回滚等。

Iceberg 主要设计思想：

记录表在所有时间的所有文件，和 Delta Lake 或 Apache Hudi 一样，支持 snapshot，其是表在某个时刻的完整文件列表。每一次写操作都会生成一个新的快照。

读取数据的时候使用当前的快照，Iceberg 使用乐观锁机制来创建新的快照，然后提交。

Iceberg 这么设计的好处是：所有的修改都是原子性的；没有耗时的文件系统操作；快照是索引好的，以便加速读取；CBO metrics 信息是可靠的；更新支持版本，支持物化视图。

在Netflex的实践

Scale：Iceberg 在 Netflix 生产环境维护着数十 PB 的数据，数百万个分区。对大表进行查询能够提供低延迟的响应。

Concurrency：生产环境中使用 Flink 管道在 3 个 AWS regions 写数据。Lift 服务将数据移到一个 region。Merge 服务对小文件进行合并。

Usability: 可用性方面：回滚是家常便饭。

Hive 表面临的挑战：

apache iceberg - 搜索结果 - 知乎 (zhihu.com)

Hive 表挑战1：上云

  • Write Path 依赖HDFS的多个文件Rename 原子性语义
  • Read Path 先查MySQL 获取分区列表，再LIST 目录获取文件
  • 中心化的Metastore 数据库，扩展性

要求：

  1. 支持多种对象存储
    特点：弹性、低廉、稳定
  2. 统一的Table语义
    抽象度高，ACID,多种文件格式
  3. 计算引擎互连互通
    支持Hive,Spark,Flink,Presto读写

Hive 表挑战2：近实时数仓

Hive Table：小时级别时效性体验
Generic Table :分钟级别时效性体验

  • 入仓：HMS（ hive metastore) 受限于扩展性，难以做按分钟做分区
  • 查询：先查MySQL找分区，再list分区目录找文件，元数据index效率低
  • 查询：缺乏文件级全局统计信息

要求：

  1. 分钟级入湖入仓，数仓内数据更实时
  2. 更高效索引加速数据分析，查询相应更快
  3. 增量出湖出仓，下游ETL相应更快

Hive 表挑战3：变更

  • 问题1： Schema变更（如新增一个字段）
  • 问题2： 分区变更（从月级分区改为天级分区）
  • 问题3：CDC数据变更

要求：

  1. Schema变更，表结构随业务变动而变更
  2. 分区变更，调整分区策略适配不同分析诉求
  3. 数据变更，表级/分区级/文件级/行级不同粒度变更

Iceberg的解决方案

Iceberg在大数据体系生产中的位置
在这里插入图片描述

挑战1： 上云

数据访问不使用任何LIST接口
可扩展的metadata存储
在这里插入图片描述

ACID不依赖RENAME接口
在这里插入图片描述

统一的Table语义
在这里插入图片描述

完善的计算和多云生态对接
在这里插入图片描述

去中心化可拓展的metadata
在这里插入图片描述

挑战2： 近实时数仓

丰富的metadata index加速
在这里插入图片描述

增量的出入湖
在这里插入图片描述

挑战3： 变更

快速实现Schema变更
在这里插入图片描述

轻量级分区变更
在这里插入图片描述
V2支持Merge-On-Read方式更新数据
在这里插入图片描述

Iceberg现状

Ecosystem对比

在这里插入图片描述

在这里插入图片描述

Features对比

在这里插入图片描述
在这里插入图片描述

Community Trending

在这里插入图片描述

Apache Iceberg 场景简介

在这里插入图片描述

Iceberg未来方向

在这里插入图片描述

User experience

Iceberg avoids unpleasant surprises. Schema evolution works and won’t inadvertently un-delete data. Users don’t need to know about partitioning to get fast queries.

  • Schema evolution supports add, drop, update, or rename, and has no side-effects
  • Hidden partitioning prevents user mistakes that cause silently incorrect results or extremely slow queries
  • Partition layout ev
最低0.47元/天 解锁文章
yisuoyanyv
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Iceberg详解
weixin_59295776的博客
10-31 230
Iceberg是一个通用的表格式（数据组织格式），它可以适配Presto，Spark等引擎，提供高性能的读写和元数据管理功能。是介于计算引擎（Flink , Spark）和存储格式（ORC，Parqurt，Avro）中间的数据组织格式，通过特定的方式将数据和元数据组织起来。在文件Format（parquet/avro/orc等）之上实现Table语义：ACID语义支持定义和变更Schema支持Hidden Partition和Partition变更历史版本回溯。
iceberg0.12.1
07-01
Apache Iceberg 是一个开源的数据表格式，用于大数据分析，它为大规模数据处理提供了高效、可扩展和容错的解决方案。Iceberg 的设计目标是解决传统数据湖中的问题，如元数据管理、数据版本控制和查询效率。在 `ice...
Apache Iceberg简介
weixin_59295776的博客
10-31 196
Iceberg是为分析海量数据而设计的，被定义为Table Format，Table Format介于计算层和存储层之间。Table Format向下管理在存储系统上的文件，向上为计算层提供丰富的接口。存储系统上的文件存储都会采用一定的组织形式，譬如读一张Hive表的时候，HDFS文件系统会带一些Partition，数据存储格式、数据压缩格式、数据存储HDFS目录的信息等，这些信息都存在Metastore上，Metastore就可以称之为一种文件组织格式。
【Amoro】Apache Iceberg + Amoro 助力网易构建云原生湖仓
最新发布
书山有路，学海无涯。记录成长，追逐梦想
05-19 1034
湖仓一体的发展经历了从数据仓库到数据湖，最终到湖仓一体的过程。传统的数仓针对的是结构化数据，面向特定的分析或者报表场景，提供标准的 SQL 与标准的服务。随着业务规模的扩大，复杂性提升，对于半结构化、非结构化的数据存储和处理的需求涌现，催生了数据湖技术的发展。数据湖是在廉价的存储系统上，使用各种工具，满足各种数据类型的业务需求。这种非标准化的处理带来了管理成本和开发成本的上升。湖仓一体顺应而生，它是基于数据服务技术开发的廉价的系统，同时能够构建结构化数据的处理能力。
Apache Iceberg 中引入索引提升查询性能
字节跳动技术团队官方博客
05-17 4827
动手点关注干货不迷路‍‍Apache Iceberg 是一种开源数据 Lakehouse 表格式，提供强大的功能和开放的生态系统，如：Time travel，ACID 事务，partition evolution，schema evolution 等功能。本文将讨论火山引擎EMR团队针对 Iceberg 组件的优化思路，通过引入索引来提高查询性能。采用 Iceberg 构建数据湖仓火山引擎 E-M...
hive 安装警告 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
weixin_30326741的博客
07-20 886
解决方法： 在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。 在配置文件里面： <property> 　　<name>hive.metastore.local</name> 　 <value>false</value> </property> 删除掉...
spark-shell连接hive表
m0_51066566的博客
11-02 369
然后，把hive-site.xml文件拷贝到spark的conf目录下。首先，必须让你的spark和hive都处于可以正常运行的状态下。接着，把Mysql的驱动copy到Spark的jars/目录下。启动spark-shell。
基于Apache Iceberg的湖原生数仓Arctic.pptx
08-12
"基于 Apache Iceberg 的湖原生数仓 Arctic" Apache Iceberg 是一个开源的湖原生数仓解决方案，旨在解决传统数据湖架构中的成本高昂、数据冗余、系统运维开销、任务开发、数据质量差、数据延迟高、口径不统一等...
湖仓一体架构--什么是Apache Iceberg.pdf
08-04
Iceberg构建湖仓一体架构的必备，与Delta Lake、hudi齐名，数据湖技术三驾马车。
Apache iceberg：Netflix 数据仓库的基石
02-23
Apache Iceberg 是一种用于跟踪超大规模表的新格式，是专门为对象存储（如S3）而设计的。 本文将介绍为什么 Netflix 需要构建 Iceberg，Apache Iceberg 的高层次设计，并会介绍那些能够更好地解决查询性能问题的细节...
Apache Flink集成Apache Iceberg最佳实践-Flink Forward Asia 2021.pdf
04-29
Apache Flink 和 Apache Iceberg 的集成是大数据领域中一种重要的技术组合，特别是在处理大规模流式数据和构建实时数据仓库方面。以下将详细解释这两个组件的关键特性和它们集成的最佳实践。 Apache Flink 是一个...
iceberg-spark-runtime-3.2-2.12-1.3.1.jar
08-23
iceberg-spark-runtime-3.2_2.12-1.3.1.jar 实时数仓 数据湖
【2】数据湖架构中 Iceberg 的核心特性
TRX的博客
03-21 5130
在业界的数据湖方案中有 Hudi、Iceberg 和 Delta 三个关键组件可供选择。 一、Iceberg 是什么？ Iceberg 官网中是这样定义的： Apache Iceberg is an open table format for huge analytic datasets 即 Iceberg 是大型分析型数据集上的一个开放式表格式。通过该表格式，将下层的存储介质（HDFS、S3、OSS等）、文件格式（Parquet、Avro、ORC等）与上层计算引擎（Flink、Spark、.
Flink 内容分享(十八)：基于Flink＋Iceberg构建企业数据湖实战
之乎者也·的博客
12-31 1319
Flink还支持通过指定catalog-impl属性来加载自定义的Iceberg Catalog实现。
图文带你理解 Apache Iceberg 时间旅行是如何实现的？
breakout_alex的博客
09-14 814
为了更好的使用 Apache Iceberg，理解其时间旅行是很有必要的，这个其实也会对 Iceberg 表的读取过程有个大致了解。不过在介绍 Apache Iceberg 的时间旅行（Time travel）之前，我们需要了解 Apache Iceberg 的底层数据组织结构。 Apache Iceberg 的底层数据组织 我们需要先了解一下 Apache Iceberg 关于底层数据结构的一些术语。 Apache Iceberg 用到的一些术语： 数据文件（data files） 数据文件（
Iceberg - 打造新一代数据湖技术
qq_34124060的博客
09-15 950
| 导语 新型数据湖框架是在大数据技术经历了10余年的沉淀之后，又一项业界炙手可热的技术。当前，业界涌现了一批优秀的开源框架，例如：Iceberg, Hudi, Delta Lake等。该技术可以解决大数据领域长期的流批作业混合（lambda架构）的业务痛点，包括：上游数据导入与下游分析作业的schema规范与对齐，数据写入的ACID保证，数据变更（Update, Delete等）操作，以及频繁数据导入造成的海量小文件等。TEG数据平台部的数据湖团队自2019年上半年开始密切关注与调研业界最新的热点技术，结
hive启动一直失败 org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
热门推荐
一休求索
12-18 2万+
好不容把大数据集群装好了，但是hive始终启动不了。 第一步先认真的检查一下mysql中创建的hive数据和用户名 create database hive default charset utf8 collate utf8_general_ci; CREATE USER 'hive'@'%' IDENTIFIED BY 'Hive-123'; GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%'; FLUSH PRIVILEGES; 这个一定要增加，要不然本地
解决Hive启动后报错FAILED:HiveException java.lang.RuntimeException
weixin_46964107的博客
06-23 1万+
解决Hive启动后报错FAILED:HiveException java.lang.RuntimeException和MetaException(message:Required table missing : “DBS” in Catalog “” Schema “”. DataNucleus requires this table to perform its persistence operations.
hive启动MetaStore报错解决方案
秋雨ヾ的博客
07-07 4225
安装apache-hive-3.1.1时启动hive时出现的错误 第一条错误 原因：HIVEHOME/lib目录下没有找到mysql−connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql−connector−java−5.1.27−bin.jar下载放到{HIVE_HOME}/lib目录下没有找到mysql-connector的jar包，因为我配置的源数据是MySQL数据库，然后把mysql-connector-java-5.1.27-bin.jar下载放到HIVEH​OM
Apache Iceberg与湖原生数仓Arctic解析
"Apache Iceberg是一个开源的表格式，用于构建湖原生数仓，如Arctic，旨在解决传统数据湖架构存在的问题，提供结构化数据处理、事务支持、流处理优化以及数据一致性保证。Arctic是基于Iceberg构建的湖仓管理系统，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值