![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
iceberg
文章平均质量分 59
左林右李02
mt实时数据平台研发
展开
-
StreamingMonitorFunction改造
当前iceberg 增量读只能读operation=append的snapshot,如果想要读取overwrite类型,需要对其进行改造。首先来看一个调用关系StreamingMonitorFunction.monitorAndForwardSplitsFlinkSplitGenerator.createInputSplitsFlinkSplitGenerator.tasksBaseTableScan.planTasksIncrementalDataTableScan.planFilesInc原创 2021-07-18 00:32:27 · 98 阅读 · 0 评论 -
iceberg gradle项目转maven
iceberg gradle项目转maven通过versions.props集中进行版本管理iceberg github上源码是用gradle做依赖管理的,下面记录踩的一些坑:通过versions.props集中进行版本管理其各dependency的version是集中在versions.props文件中进行管理的,在build.gradle通过dependencyRecommendations来指定dependencyRecommendations { propertiesFile file:原创 2021-07-12 11:55:00 · 259 阅读 · 3 评论 -
manifest文件怎么追踪datafile和deletefile
manifest文件怎么追踪datafile和deletefilemanifest 文件的两种格式1:snap-{snapshot_id}-随机产出的字符串.avro (manifest list文件)2:{随机字符串}-m{0或1}.avro(存放datafile、deletefile具体路径的文件)manifest 文件的两种格式manifest是avro格式的文件,根据其命名和功能可以分为两种:1:snap-{snapshot_id}-随机产出的字符串.avro (manifest list文件原创 2021-07-07 12:01:06 · 122 阅读 · 0 评论 -
Delete Formats
本节详细介绍Iceberg如何进行行级删除。v1中不支持行级删除。行级删除文件是有效的Iceberg数据文件:文件必须使用有效的Iceberg格式、schema和column projecttion。建议使用表的默认文件格式写入删除文件。行级删除文件由manifest文件(清单)跟踪。删除文件使用一组相互独立的清单,但清单的schema是相同的。position delete(位置删除)和equality delete(相等删除)都允许用delete对已删除的行值进行编码。这可用于重建表的更改流。r翻译 2021-07-06 21:29:53 · 381 阅读 · 0 评论 -
Table Metadata
Table Metadata表元数据存储为JSON。每个表元数据更改都会创建一个由原子操作提交的新表元数据文件。此操作用于确保表元数据的新版本替换它所基于的版本。这将生成表版本的线性历史记录,并确保并发写操作不会丢失。用于提交元数据的原子操作取决于如何跟踪表,该规范没有对其进行标准化。Table Metadata Fields表元数据由以下字段组成:v1v2字段描述requiredrequiredformat-version格式的整数版本号。目前,它总是1。如果表的版翻译 2021-07-06 20:50:56 · 346 阅读 · 0 评论