iceberg系列（1）：存储详解-初探2

已于 2022-02-17 10:19:10 修改
阅读量616 收藏 1
点赞数
分类专栏： 数据湖 大数据 文章标签： 大数据 iceberg 数据湖
于 2022-02-17 10:12:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liliwei0213/article/details/122977398
版权

上篇 iceberg系列（1）：存储详解-初探1 中我们查看了元数据结构，那么现在，我们插入数据到表中

INSERT INTO local.db.table VALUES (1, 'a');

再次查看目录结构：

(base) ➜ table tree -A -C -D
.
├── [Jan  2 21:45]  data
│   └── [Jan  2 21:45]  00000-0-ea35130e-b5ed-4443-889f-2ee5e62e6757-00001.parquet
└── [Jan  2 21:45]  metadata
    ├── [Jan  2 21:45]  1bd1f809-55ea-4ba1-b425-ab4ecc212434-m0.avro
    ├── [Jan  2 21:45]  snap-5028042644139258397-1-1bd1f809-55ea-4ba1-b425-ab4ecc212434.avro
    ├── [Jan  2 21:22]  v1.metadata.json
    ├── [Jan  2 21:45]  v2.metadata.json
    └── [Jan  2 21:45]  version-hint.text

2 directories, 6 files

查看v2.metadata.json文件内容：

{
  "format-version" : 1,
  "table-uuid" : "0dc08d49-ed4d-49bb-8ddf-006e37c65372",
  "location" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table",
  "last-updated-ms" : 1641131156558,
  "last-column-id" : 2,
  "schema" : {
    "type" : "struct",
    "schema-id" : 0,
    "fields" : [ {
      "id" : 1,
      "name" : "id",
      "required" : false,
      "type" : "long"
    }, {
      "id" : 2,
      "name" : "data",
      "required" : false,
      "type" : "string"
    } ]
  },
  "current-schema-id" : 0,
  "schemas" : [ {
    "type" : "struct",
    "schema-id" : 0,
    "fields" : [ {
      "id" : 1,
      "name" : "id",
      "required" : false,
      "type" : "long"
    }, {
      "id" : 2,
      "name" : "data",
      "required" : false,
      "type" : "string"
    } ]
  } ],
  "partition-spec" : [ ],
  "default-spec-id" : 0,
  "partition-specs" : [ {
    "spec-id" : 0,
    "fields" : [ ]
  } ],
  "last-partition-id" : 999,
  "default-sort-order-id" : 0,
  "sort-orders" : [ {
    "order-id" : 0,
    "fields" : [ ]
  } ],
  "properties" : {
    "owner" : "liliwei"
  },
  "current-snapshot-id" : 5028042644139258397,
  "snapshots" : [ {
    "snapshot-id" : 5028042644139258397,
    "timestamp-ms" : 1641131156558,
    "summary" : {
      "operation" : "append",
      "spark.app.id" : "local-1641129606166",
      "added-data-files" : "1",
      "added-records" : "1",
      "added-files-size" : "643",
      "changed-partition-count" : "1",
      "total-records" : "1",
      "total-files-size" : "643",
      "total-data-files" : "1",
      "total-delete-files" : "0",
      "total-position-deletes" : "0",
      "total-equality-deletes" : "0"
    },
    "manifest-list" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/snap-5028042644139258397-1-1bd1f809-55ea-4ba1-b425-ab4ecc212434.avro",
    "schema-id" : 0
  } ],
  "snapshot-log" : [ {
    "timestamp-ms" : 1641131156558,
    "snapshot-id" : 5028042644139258397
  } ],
  "metadata-log" : [ {
    "timestamp-ms" : 1641129739691,
    "metadata-file" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/v1.metadata.json"
  } ]
}

version-hint.text内容：

2

snap-5028042644139258397-1-1bd1f809-55ea-4ba1-b425-ab4ecc212434.avro内容：
此处借助于avro转json的工具：avro-tools-1.10.2.jar （https://repo1.maven.org/maven2/org/apache/avro/avro-tools/1.10.2/）

java -jar ~/plat/tools/avro-tools-1.10.2.jar tojson metadata/snap-5028042644139258397-1-1bd1f809-55ea-4ba1-b425-ab4ecc212434.avro

{
	"manifest_path": "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/1bd1f809-55ea-4ba1-b425-ab4ecc212434-m0.avro",
	"manifest_length": 5803,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 5028042644139258397
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": []
	},
	"added_rows_count": {
		"long": 1
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
}

查看对应的 manifest 文件

(base) ➜ table java -jar ~/plat/tools/avro-tools-1.10.2.jar tojson metadata/1bd1f809-55ea-4ba1-b425-ab4ecc212434-m0.avro

{
	"status": 1,
	"snapshot_id": {
		"long": 5028042644139258397
	},
	"data_file": {
		"file_path": "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/data/00000-0-ea35130e-b5ed-4443-889f-2ee5e62e6757-00001.parquet",
		"file_format": "PARQUET",
		"partition": {},
		"record_count": 1,
		"file_size_in_bytes": 643,
		"block_size_in_bytes": 67108864,
		"column_sizes": {
			"array": [{
				"key": 1,
				"value": 46
			}, {
				"key": 2,
				"value": 48
			}]
		},
		"value_counts": {
			"array": [{
				"key": 1,
				"value": 1
			}, {
				"key": 2,
				"value": 1
			}]
		},
		"null_value_counts": {
			"array": [{
				"key": 1,
				"value": 0
			}, {
				"key": 2,
				"value": 0
			}]
		},
		"nan_value_counts": {
			"array": []
		},
		"lower_bounds": {
			"array": [{
				"key": 1,
				"value": "\u0001\u0000\u0000\u0000\u0000\u0000\u0000\u0000"
			}, {
				"key": 2,
				"value": "a"
			}]
		},
		"upper_bounds": {
			"array": [{
				"key": 1,
				"value": "\u0001\u0000\u0000\u0000\u0000\u0000\u0000\u0000"
			}, {
				"key": 2,
				"value": "a"
			}]
		},
		"key_metadata": null,
		"split_offsets": {
			"array": [4]
		},
		"sort_order_id": {
			"int": 0
		}
	}
}

很明显，其中包含了数据文件的具体位置，以及一些统计信息。我们再插入一条数据，看看会有什么变化：

INSERT INTO local.db.table VALUES (2, 'b');

查看目录结构：

(base) ➜ table tree -C
(base) ➜ table tree -C -D
.
├── [Jan  2 22:07]  data
│   ├── [Jan  2 21:45]  00000-0-ea35130e-b5ed-4443-889f-2ee5e62e6757-00001.parquet
│   └── [Jan  2 22:07]  00000-1-631cd5bc-2ad0-4ddd-9530-f055b2888d56-00001.parquet
└── [Jan  2 22:07]  metadata
    ├── [Jan  2 21:45]  1bd1f809-55ea-4ba1-b425-ab4ecc212434-m0.avro
    ├── [Jan  2 22:07]  6881af48-5efa-4660-99ed-be5b9f640e52-m0.avro
    ├── [Jan  2 22:07]  snap-1270004071302473053-1-6881af48-5efa-4660-99ed-be5b9f640e52.avro
    ├── [Jan  2 21:45]  snap-5028042644139258397-1-1bd1f809-55ea-4ba1-b425-ab4ecc212434.avro
    ├── [Jan  2 21:22]  v1.metadata.json
    ├── [Jan  2 21:45]  v2.metadata.json
    ├── [Jan  2 22:07]  v3.metadata.json
    └── [Jan  2 22:07]  version-hint.text

2 directories, 10 files

v3.metadata.json文件内容如下：

{
  "format-version" : 1,
  "table-uuid" : "0dc08d49-ed4d-49bb-8ddf-006e37c65372",
  "location" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table",
  "last-updated-ms" : 1641132476394,
  "last-column-id" : 2,
  "schema" : {
    "type" : "struct",
    "schema-id" : 0,
    "fields" : [ {
      "id" : 1,
      "name" : "id",
      "required" : false,
      "type" : "long"
    }, {
      "id" : 2,
      "name" : "data",
      "required" : false,
      "type" : "string"
    } ]
  },
  "current-schema-id" : 0,
  "schemas" : [ {
    "type" : "struct",
    "schema-id" : 0,
    "fields" : [ {
      "id" : 1,
      "name" : "id",
      "required" : false,
      "type" : "long"
    }, {
      "id" : 2,
      "name" : "data",
      "required" : false,
      "type" : "string"
    } ]
  } ],
  "partition-spec" : [ ],
  "default-spec-id" : 0,
  "partition-specs" : [ {
    "spec-id" : 0,
    "fields" : [ ]
  } ],
  "last-partition-id" : 999,
  "default-sort-order-id" : 0,
  "sort-orders" : [ {
    "order-id" : 0,
    "fields" : [ ]
  } ],
  "properties" : {
    "owner" : "liliwei"
  },
  "current-snapshot-id" : 1270004071302473053,
  "snapshots" : [ {
    "snapshot-id" : 5028042644139258397,
    "timestamp-ms" : 1641131156558,
    "summary" : {
      "operation" : "append",
      "spark.app.id" : "local-1641129606166",
      "added-data-files" : "1",
      "added-records" : "1",
      "added-files-size" : "643",
      "changed-partition-count" : "1",
      "total-records" : "1",
      "total-files-size" : "643",
      "total-data-files" : "1",
      "total-delete-files" : "0",
      "total-position-deletes" : "0",
      "total-equality-deletes" : "0"
    },
    "manifest-list" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/snap-5028042644139258397-1-1bd1f809-55ea-4ba1-b425-ab4ecc212434.avro",
    "schema-id" : 0
  }, {
    "snapshot-id" : 1270004071302473053,
    "parent-snapshot-id" : 5028042644139258397,
    "timestamp-ms" : 1641132476394,
    "summary" : {
      "operation" : "append",
      "spark.app.id" : "local-1641129606166",
      "added-data-files" : "1",
      "added-records" : "1",
      "added-files-size" : "643",
      "changed-partition-count" : "1",
      "total-records" : "2",
      "total-files-size" : "1286",
      "total-data-files" : "2",
      "total-delete-files" : "0",
      "total-position-deletes" : "0",
      "total-equality-deletes" : "0"
    },
    "manifest-list" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/snap-1270004071302473053-1-6881af48-5efa-4660-99ed-be5b9f640e52.avro",
    "schema-id" : 0
  } ],
  "snapshot-log" : [ {
    "timestamp-ms" : 1641131156558,
    "snapshot-id" : 5028042644139258397
  }, {
    "timestamp-ms" : 1641132476394,
    "snapshot-id" : 1270004071302473053
  } ],
  "metadata-log" : [ {
    "timestamp-ms" : 1641129739691,
    "metadata-file" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/v1.metadata.json"
  }, {
    "timestamp-ms" : 1641131156558,
    "metadata-file" : "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/v2.metadata.json"
  } ]
}

snap-1270004071302473053-1-6881af48-5efa-4660-99ed-be5b9f640e52.avro文件内容如下：

{
	"manifest_path": "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/6881af48-5efa-4660-99ed-be5b9f640e52-m0.avro",
	"manifest_length": 5802,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 1270004071302473053
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": []
	},
	"added_rows_count": {
		"long": 1
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
}

{
	"manifest_path": "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/metadata/1bd1f809-55ea-4ba1-b425-ab4ecc212434-m0.avro",
	"manifest_length": 5803,
	"partition_spec_id": 0,
	"added_snapshot_id": {
		"long": 5028042644139258397
	},
	"added_data_files_count": {
		"int": 1
	},
	"existing_data_files_count": {
		"int": 0
	},
	"deleted_data_files_count": {
		"int": 0
	},
	"partitions": {
		"array": []
	},
	"added_rows_count": {
		"long": 1
	},
	"existing_rows_count": {
		"long": 0
	},
	"deleted_rows_count": {
		"long": 0
	}
}

注意，以上是两条数据，分别是两个JSON格式。
6881af48-5efa-4660-99ed-be5b9f640e52-m0.avro内容如下：

{
	"status": 1,
	"snapshot_id": {
		"long": 1270004071302473053
	},
	"data_file": {
		"file_path": "/Users/liliwei/plat/spark-3.1.2-bin-hadoop3.2/warehouse/db/table/data/00000-1-631cd5bc-2ad0-4ddd-9530-f055b2888d56-00001.parquet",
		"file_format": "PARQUET",
		"partition": {},
		"record_count": 1,
		"file_size_in_bytes": 643,
		"block_size_in_bytes": 67108864,
		"column_sizes": {
			"array": [{
				"key": 1,
				"value": 46
			}, {
				"key": 2,
				"value": 48
			}]
		},
		"value_counts": {
			"array": [{
				"key": 1,
				"value": 1
			}, {
				"key": 2,
				"value": 1
			}]
		},
		"null_value_counts": {
			"array": [{
				"key": 1,
				"value": 0
			}, {
				"key": 2,
				"value": 0
			}]
		},
		"nan_value_counts": {
			"array": []
		},
		"lower_bounds": {
			"array": [{
				"key": 1,
				"value": "\u0002\u0000\u0000\u0000\u0000\u0000\u0000\u0000"
			}, {
				"key": 2,
				"value": "b"
			}]
		},
		"upper_bounds": {
			"array": [{
				"key": 1,
				"value": "\u0002\u0000\u0000\u0000\u0000\u0000\u0000\u0000"
			}, {
				"key": 2,
				"value": "b"
			}]
		},
		"key_metadata": null,
		"split_offsets": {
			"array": [4]
		},
		"sort_order_id": {
			"int": 0
		}
	}
}

具体的分析及源码讲解暂时还未添加，暂且TODO一下。
下面我们来看一下iceberg提供表格式友好演变的精髓之一，partition相关的内容：
iceberg系列（2）：存储详解-partition-1

九剑问天
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
iceberg系列（1）：存储详解-初探1
杂记
02-17 1881
Iceberg是数据湖热门组件之一，本系列文章将深入探究一二。 首先将研究iceberg底层存储。
数据湖iceberg-day01-概念，特点，存储格式以及各种表中的演化，数据类型
weixin_48370579的博客
11-09 408
数据湖iceberg-day01 1.1 什么是数据湖 1.1.1 什么是数据湖 数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。 1.1.2 大数据为什么需要数据湖 当前基于Hive的离线数据仓库已经非常成熟，在传...
java 构建kafka的生产者和消费者
weixin_39504040的博客
09-18 284
引包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 生产者 import com.ssi.dataplatform.single.co
数据湖存储解决方案之Iceberg
marui156的专栏
01-09 2945
Apache Iceberg 是由 Netflix 开发开源的，其于2018年11月16日进入 Apache 孵化器，是 Netflix 公司数据仓库基础。Apache Iceberg设计初衷是为了解决Hive离线数仓计算慢的问题，经过多年迭代已经发展成为构建数据湖服务的表格式标准。Iceberg 本质上是一种专为海量分析设计的表格式标准，可为主流计算引擎如 Presto、Spark 等提供高性能的读写和元数据管理能力。
【Iceberg】Apache Iceberg 概述和源代码的构建
书山有路，学海无涯。记录成长，追逐梦想
09-03 2592
我们在使用不同的引擎进行大数据计算时，需要将数据根据计算引擎进行适配。这是一个相当棘手的问题，为此出现了一种新的解决方案：介于上层计算引擎和底层存储格式之间的一个中间层。这个中间层不是数据存储的方式，只是定义了数据的元数据组织方式，并向计算引擎提供统一的类似传统数据库中 “表” 的语义。它的底层仍然是 Parquet、ORC 等存储格式。基于此，Netflix 开发了 Iceberg，目前已经是 Apache 的顶级项目。
Iceberg 初见
GP0000968523的专栏
07-17 711
Iceberg是一个开源的大数据存储和计算平台，它提供高性能、可扩展和一致性的数据存储和查询能力。Iceberg是一个开源的大数据存储和计算平台，它的设计目标是为了解决传统数据仓库在处理大规模数据时的性能问题。分区可以是静态的，也可以是动态的，动态分区可以根据数据的内容自动创建。另外，Iceberg支持分区和索引等特性，可以加速数据的过滤和查询操作。它可以提供低延迟的数据写入和查询能力，支持实时数据的处理和分析。它支持快速的数据写入和查询操作，可以实时地处理和分析日志数据。
数据湖（八）：Iceberg 数据存储格式
wr_java的博客
04-10 327
数据文件是 Apache Iceberg 表真实存储数据的文件，一般是在表的数据存储目录的 data 目录下，如果我们的文件格式选择的是 parquet,那么文件是以“.parquet”结尾，例如：00000-0-root_20211212192602_8036d31b-9598-4e30-8e67-ce6c39f034da-job_1639237002345_0025-00001.parquet 就是一个数据文件。Iceberg 每次更新会产生多个数据文件(data files)。
iceberg-spark-runtime-3.2-2.12-1.3.1.jar
08-23
iceberg-spark-runtime-3.2_2.12-1.3.1.jar 实时数仓 数据湖
Iceberg-locations:来自ASCAT和OSCAT-2的当前南极大型冰山位置
03-11
json iceberg_location.json包含从页面收集的所有信息。 此JSON通常每周更新一次或两次（根据网站上的更新），通常在星期一，也可能在星期五。 此处报告的位置是从串联的近实时ASCAT和OSCAT-2数据中提取的。 完整的...
iceberg-flink-1.13-runtime-7f10407.jar
12-01
flink-1.13.2 iceberg0.13
iceberg.vim：Vim和Neovim的蓝色配色方案
02-06
- **airline**：iceberg.vim与流行的statusline插件airline兼容，提供了与主题风格一致的状态栏显示，包括分隔符、光标位置、语法错误等信息。 - **lightline.vim**：同样支持lightline，这是一款轻量级的status...
iceberg.18:RoboCup Junior Soccer 2018-“ Iceberg Robots”团队-主要arduino
05-15
标题中的"Iceberg.18"可能是指一个项目或团队的代号，专注于RoboCup Junior Soccer 2018赛事。"Iceberg Robots"是这个团队的名字，他们使用了Arduino Mega 2560作为核心控制器来设计和构建足球机器人。这个压缩包...
第二章Iceberg简介
最新发布
m0_61635017的博客
03-21 1097
Iceberg数据类型是在Apache Iceberg这一开源大数据表格管理库中定义的一系列数据格式，它们用于描述和存储表格中的数据。Iceberg旨在提供可扩展且可靠的方式来管理海量数据表格，因此其数据类型设计也充分考虑了大数据处理的需求。
Iceberg从入门到精通系列之一：Iceberg核心概念理解
zhengzaifeidelushang的博客
06-22 4305
Manifest(清单)：描述Table状态的元数据，包括Table的Schema（模式）、Partition Spec（分区规范）和Current Snapshot ID（当前快照ID）等信息。Partition(分区)：将数据按照指定规则分隔成的逻辑单元，Partition由一个或多个数据块(Block)组成。Block(块)：其中存储的是Partition的数据，每个块都有一个唯一的ID，块的大小可以在表级别进行配置。创建了一个包含id和name字段的表，并且定义了以id字段为分区键的分区规则。
Iceberg教程
Cool_Pepsi的博客
11-04 625
Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。
iceberg入门
SQL_mjkl963124412的博客
10-29 1376
iceberg浅学
Iceberg从入门到精通系列之二十二：Spark DDL
zhengzaifeidelushang的博客
02-01 1905
新创建的表不会继承 SELECT 中源表的分区规范和表属性，您可以使用 CTAS 中的 PARTITIONED BY 和 TBLPROPERTIES 来声明新表的分区规范和表属性。新数据将使用新分区写入，但现有数据将保留在旧分区布局中。当表的分区发生变化时，动态分区覆盖行为也会发生变化，因为动态覆盖会隐式替换分区。例如，如果您按天分区并改为按小时分区，则覆盖将覆盖每小时分区，但不再覆盖天分区。例如，如果您按天分区并转为按小时分区，则覆盖将覆盖每小时分区，但不再覆盖天分区。
数据湖（八）：Iceberg数据存储格式
Lansonli（蓝深李）的博客
06-17 1382
数据文件是Apache Iceberg表真实存储数据的文件，一般是在表的数据存储目录的data目录下，如果我们的文件格式选择的是parquet,那么文件是以“.parquet”结尾，例如：00000-0-root_20211212192602_8036d31b-9598-4e30-8e67-ce6c39f034da-job_1639237002345_0025-00001.parquet 就是一个数据文件。Iceberg每次更新会产生多个数据文件(data files)。快照代表一张表在某个时刻的状态。每个
kafka topic增加partition
热门推荐
杂记
02-15 1万+
通过kafka-topics.sh 的alter选项 ，将topic1的partitions从1增加到6；  ./kafka-topics.sh --alter --topic topic1 --zookeeper zkip:2181/kafka --partitions 6
Iceberg数据湖技术：腾讯看点的痛点解决方案
1. **开放性和兼容性**：Iceberg框架独立于上层计算引擎和下层存储，使得它能更好地与其他技术栈集成，降低迁移成本。 2. **接口抽象度高**：提供了高度抽象的接口，使得不同引擎之间的切换更为顺畅，有助于保持业务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值