Iceberg
文章平均质量分 93
Dreammmming Time
人啊,毕业时意气风发,进入社会后就逐渐钝化了,因此希望通过知识分享和新知识学习,在大数据领域彼此勉励,共同成长,拒绝被环境束缚。
展开
-
Iceberg:浅析基于Snapshot的事务过程
Iceberg基于实现了乐观无锁地数据并发读写能力(MVCC,Multi Versions Concurrency Controll),默认提供了快照级别的事务隔离,因此可以至少避免脏读的问题。,是对于并发事务的INSERT/DELETE操作,会导致连续读取相同区间的数据记录时,数据条数不同。,是对于并发事务的UPDATE操作,会导致连续读取相同数据记录的数据发生了变化。原创 2023-12-24 15:37:03 · 1263 阅读 · 0 评论 -
Iceberg: COW模式下的MERGE INTO的执行流程
public class SparkTable implements org . apache . spark . sql . connector . catalog . Table , // 继承自Spark的接口 SupportsRead , SupportsWrite , SupportsDelete , // 支持删除 SupportsRowLevelOperations , // 支持行级的数据更新 SupportsMetadataColumns {} /**原创 2023-12-24 23:30:23 · 1706 阅读 · 0 评论 -
Iceberg: 列式读取Parquet数据
BaseBatchReader支持以Batch + Vectorized的特性,读取底层的文件。原创 2024-01-04 20:35:08 · 669 阅读 · 0 评论