本文总结了大数据压缩中常用的gzip, lzo, snappy和bzip2四种算法，包括它们的压缩效率、是否可split以及适用场景。尽管snappy压缩速度较快，但压缩比一般；gzip压缩率高但不支持split；lzo支持split但需额外索引；bzip压缩比最高但速度慢。在列存文件如parquet或Avro中，即使使用gzip和snappy，由于压缩发生在页面级别，因此仍可split。parquet文件的row-group和column-chunk压缩提供了平衡压缩和split的能力。"
121751361,11485416,使用Open3D实现3D点云的交互式裁剪,"['3D可视化', 'Python编程', '交互功能', 'Open3D库', '点云处理']
1：最主流的四种
gzip 压缩比较高，不可 split (行文件)，hadoop 自带 （apache 协议）
lzo 支持 split，但需要额外的索引文件，自定安装（ GPL 协议）
snappy 压缩速度快，压缩比一般，不可 split (行文件)，自定安装（ GPL 协议）
bzip 压缩比最高，但是压缩慢，自定安装
压缩格式gzip/snappy/lzo/bzip2 比较与总结_zzhongcy的博客-CSDN博客_lzo压缩比例
1. Data Modeling in Hadoop - Hadoop Application Architectures [Book]
2：列存文件即使使用 gzip和
1160
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
