![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
parquet存储格式
qq_21479345
这个作者很懒,什么都没留下…
展开
-
Dremel made simple with Parquet(CN)
列存储是在并行RDBM中优化分析工作负载的流行技术。在学术文献以及几个商业分析数据库中都充分记录了存储和处理大量数据的性能和压缩优势。 目的是通过仅从磁盘读取查询所需的数据来使I / O降至最低。使用Twitter上的Parquet,我们在大型数据集上的大小减少了三分之一。在仅需要一部分列的常见情况下,扫描时间也减少到原始时间的一小部分。原理很简单:代替传统的行布局,将数据一次写入一列。尽管在平面模式下将行变成列很简单,但是在处理嵌套数据结构时却更具挑战性。 我们最近引入了Parquet,这...转载 2020-07-28 20:16:23 · 274 阅读 · 0 评论 -
Dremel made simple with Parquet
Dremel made simple with Parquet By@J_ Wednesday, 11 September 2013 Columnar storage is a popular technique to optimize analytical workloads in parallel RDBMs. The performance and compression benefits for storing and processing large amounts of da...转载 2020-07-24 15:39:20 · 259 阅读 · 0 评论