一篇文章彻底理解大数据的列式存储

最新推荐文章于 2022-01-05 08:00:00 发布

明哥的IT随笔

最新推荐文章于 2022-01-05 08:00:00 发布

阅读量2.4k

点赞数

文章标签： big data 大数据

本文链接：https://blog.csdn.net/MichaelLi916/article/details/122175348

版权

本文深入探讨了列式存储的概念，以Apache Parquet为例详细介绍了其数据组织格式。列式存储在大数据分析中具有高压缩率和查询效率的优势，尤其适合OLAP系统。与行式存储对比，列式存储更利于数据质量的提升，减少了因特殊字符导致的数据混乱问题。

摘要由CSDN通过智能技术生成

大家好，我是明哥！

本片文章，跟大家一起探讨下，列式存储与数据质量的相关话题。

所谓行式存储，指存储结构化数据时，在底层的存储介质上，数据是以行的方式来组织的，即存储完一条记录的所有字段，再存储下一条数据的所以字段，以此类推；
所谓列式存储，指存储结构化数据时，在底层的存储介质上，数据时以列的方式来组织的，即存储完若干条记录的首个字段后，再存储这些记录的第二个字段，然后是这些记录的第三个字段，以此类推，当这些记录的所有字段存储完毕后，再按照这种方式，组织存储下一批若干条记录的所有字段；

比如需要存储以下记录：

则行存储格式，底层是这样组织的：（示意图）

而列存储格式，底层是这样组织的

关注