Parquet格式

最新推荐文章于 2024-07-20 09:00:00 发布

Carl-Zeng

最新推荐文章于 2024-07-20 09:00:00 发布

阅读量1.4k

点赞数

分类专栏：大数据性能优化文章标签： Parquet Hive

本文链接：https://blog.csdn.net/qq_32555899/article/details/82113356

版权

Parquet是一种嵌套的列式存储格式，适用于大数据处理。它将数据逻辑上组织为树状结构，支持数据转换，并通过行组和列切片进行高效存储。每个字段由多个page组成，page是最小的压缩和IO单元。写入时，数据按groupsize缓存，读取时按page读取。在Impala中，可以设置parquet.file.size、压缩格式、block和page大小等参数来优化性能。

摘要由CSDN通过智能技术生成

Parquet格式

参考链接：

http://lvheyang.com/wp-content/uploads/2016/02/%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8%E4%B8%8EParquet%E6%96%87%E4%BB%B6%E6%A0%BC%E5%BC%8F%E5%88%86%E4%BA%AB-2.pdf

https://www.jianshu.com/p/b823c727fe46

https://blog.csdn.net/bhq2010/article/details/43318549

https://www.cnblogs.com/ulysses-you/p/7985240.html

1 Schema

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Carl-Zeng

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Parquet格式

Parquet格式参考链接：http://lvheyang.com/wp-content/uploads/2016/02/%E5%88%97%E5%BC%8F%E5%AD%98%E5%82%A8%E4%B8%8EParquet%E6%96%87%E4%BB%B6%E6%A0%BC%E5%BC%8F%E5%88%86%E4%BA%AB-2.pdfhttps://www.jianshu.c...
复制链接

扫一扫