![2065d16da4e838c7257e6af5ac070db7.png](https://i-blog.csdnimg.cn/blog_migrate/10aac1b3a335d69833c09dc4e1473b90.png)
Apache Iceberg 是一种新的表格格式,用于存储和分析大型的、移动缓慢的表格数据。它的工作方式类似于 SQL 表,它旨在改进内置在 Hive、Presto 和 Spark 中的事实上的标准表布局。
对于使用者来说:
模式演化(Schema evolution)支持添加、删除、更新或重命名,并且没有副作用
隐藏分区(Hidden partitioning)可以防止导致错误提示或非常慢查询的用户错误
分区布局演变(Partition layout evolution)可以随着数据量或查询模式的变化而更新表的布局
时光穿梭(Time travel)可使用完全相同的表快照实现重新查询,或者使用户轻松检查更改
版本回滚使用户可以通过将表重置为良好状态来快速纠正问题
可靠性与性能方面,Iceberg 可用于生产中,它的一个表可以包含数十 PB 的数据,即使没有分布式 SQL 引擎也可以读取这些巨大规模的表。
扫描速度很快,无需使用分布式 SQL 引擎即可读取表或查找文件
高级过滤,使用表元数据对数据文件以分区和列级统计信息进行修剪
Iceberg 旨在解决最终一致的云对象存储中的正确性问题:
可与任何云存储一起使用,并且通过避免列出(list)和重命名,可以在 HDFS 中减少 NN 拥塞
可序列化的隔离,表更改是原子性的,对外永远不会有部分更改或未提交的更改
多个并发写入器使用乐观并发,即使写入冲突,也将重试以确保兼容更新成功
龙芯 .NET正式发布,相关代码已开源
2020-12-23
![189255e6580cf658b23c5006b54fbe22.png](https://i-blog.csdnimg.cn/blog_migrate/0a600a443fa9f174048f3e2efde7a1f6.jpeg)
Spring Cloud 2020.0.0 正式发布,移除大量模块
2020-12-23
![24354393053c2138b00d77e0ac076acb.png](https://i-blog.csdnimg.cn/blog_migrate/ba9b44d928906a6f4bbfafeee4b4158a.jpeg)
EVM:超轻量级物联网虚拟机
2020-12-22
![2b2206101e89e5c5ad7b8f856fa1a0c2.png](https://i-blog.csdnimg.cn/blog_migrate/97f584effb841a79dbb4114fccdfbeb0.jpeg)
![76e16ce6db95ba7eed6a8cee1b42144e.png](https://i-blog.csdnimg.cn/blog_migrate/83febdadf6b258f755c6b29ddfcd33b4.jpeg)
![36a5c85d5097a9011308e4abfa57de15.gif](https://i-blog.csdnimg.cn/blog_migrate/e33716592e31daf1d37d5d10ec5d5df6.gif)
扫码关注最新动态
公众号ID:fosslab
我就知道你“在看”![9f8fa6aad47752a03f3523a9a6c60444.gif](https://i-blog.csdnimg.cn/blog_migrate/af8aae776d7301947da114dabe671802.gif)