parquet 原理

最近偶然的因素,突然觉得这个格式很神奇,找了很多文章细读了一遍,特整理如下.

 

第一篇文章里面讲的很通俗,易懂.但是对于之前没有背景的,细节地方不好理解,因为里面的实例比较简单和真实案例差别比较大.

深入分析Parquet列式存储格式

http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-format

 

 

第二篇文章里面的示例比较丰富,交叉比较来学习效果比较好.但是怎么持久化就没有说明.

Dremel made simple with Parquet

https://blog.twitter.com/2013/dremel-made-simple-with-parquet

 

第三篇文章里面可以了解到如何在形成Parquet的树状结构后,以列式的方式持久化到磁盘.

Apache Drill学习笔记二：Dremel原理（上）

http://www.tuicool.com/articles/u6bMnuZ

 

 

 

 

 

Presentations

https://parquet.apache.org/presentations/