大数据的压缩与存储

最新推荐文章于 2024-08-15 19:48:27 发布
最新推荐文章于 2024-08-15 19:48:27 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： 面试基础知识准备
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shell33168/article/details/89291493
版权

压缩

压缩的好处

1.提升磁盘的利用率
2.加速网络传输

压缩的坏处

压缩解压需要消耗cpu

压缩的技术

  • 有损
  • 无损

压缩比

源文件1.4G

压缩技术剩余大小
snappy701M
Lz4693M
LZO684M
gzip447M
Bzip2390M

压缩得越小，消耗的时间越多，速度越慢

分片

bzip,lzo(需要创建索引 create index) 支持分片，其余压缩方式都不支持分片
压缩的位置讲解
三个方框是三个可以进行压缩的阶段

  1. 阶段1是输入的阶段，要用可分片的压缩方式
  2. 要用速度快的
  3. 分情况：如果数据用于归档，采用高压缩比的压缩方式；如果数据用于下一个作业输入，要用可分片的

行式存储与列式存储

  • 行式存储：所有数据都存储在一个块中；适合读所有数据的情况；如果只需要读其中几列，它会把所有数据都出来 [textfile]
  • 列式存储：数据存在多个块中；适合读部分数据；读所有数据时，会发生数据重组 [orc,parquet]
    大数据中，99%的情况都用列式存储
shell33168
关注
专栏目录
大数据技术之Hive 第8章 压缩和存储
尚硅谷铁杆粉丝的博客
08-30 265
8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2）jar包准备(hadoop源码、JDK8 、maven、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk...
大数据压缩与存储
weixin_44591209的博客
04-09 1889
压缩 为什么要压缩？ 1）减少磁盘的存储空间 2）减少网络和磁盘的IO 3)加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度 压缩的局限性 每次使用数据时需要先将数据解压，加重CPU负荷。 压缩格式 压缩格式 工具 算法 文件扩展名 ...
大数据压缩
04-01 686
1. 压缩的好处和坏处 压缩技术分为有损和无损：大数据场景下我们用到的都是无损；不允许丢失数据 好处 减少存储磁盘空间 降低IO(网络的IO和磁盘的IO) 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度 坏处 由于使用数据时，需要先将数据解压，...
Java中的数据压缩算法：如何在大数据处理中实现高效存储
最新发布
微赚淘客系统开发者博客
08-15 1041
通过使用Huffman编码、LZW、Deflate和Brotli等算法，可以有效地减少数据存储需求和传输时间。在实际应用中，应根据数据特性和需求来选择和优化压缩方案。通过压缩算法，可以显著减少存储空间需求和传输时间，提高系统的效率和性能。例如，Brotli在网页传输中表现优越，而Deflate在传统压缩格式中应用广泛。：通过有效的压缩算法，可以显著减少存储需求，优化存储资源的使用，尤其是在大数据环境中。在Java中，可以使用。大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
013 大数据之HIVE压缩和存储
小哥哥咯的博客
01-16 185
上一篇文章：012 大数据之HIVE查询 1、Hive的数据压缩介绍及使用 1、HIVE的输入编解码器不需要设置，使用文件扩展名自动判断是否支持，Hive的Map、Reduce压缩功能默认不开启； 2、Hive常见的存储格式的区别与应用场景，SequenceFile实现合并小文件，SequenceFile格式与mapreduce； 3、HIVE使用Map、Reduce压缩功能时需要开启hive中间传输数据压缩功能，才可正常使用； 4、snappy最常作为企业数据压缩格式，但不支持切分，而LZO可通过使用索引
数据的压缩存储结构整理
qq_38949748的博客
04-30 810
数据的压缩存储结构整理 1.Compressed sparse column(CSC) 适用于存储稀疏矩阵，由三个一维数组组成。假设用a,b,c表示三个数组，c数组存储非零元素，b数组存储非零元素的行号，a数组存储每一列的非零元素在b、c数组中的索引范围，左闭右开。 例：以3X3矩阵举例说明； a数组村存储三个索引范围 [0,2), [2,3), [3,6) ,对应每一列在b,c的位置； [0,2) 对应b,c下标0,1，查找数组可得，0列0行元素为1,0行2列元素为4，以此类推… ...
大数据存储格式和压缩格式的比较
01-20
众所周知，大数据有两种存储格式：行存储、列存储，下面我们就来比较一下这两种存储格式的区别。首先来看一下两种格式的数据排列方式： 行存储数据排列 列存储数据排列 性能比较 两种存储格式都有各自的优缺点：行...
大数据压缩算法总结
MISAYAONE的博客
03-21 2781
1：最主流的四种 gzip 压缩比较高，不可 split (行文件)，hadoop 自带 （apache 协议） lzo 支持 split，但需要额外的索引文件，自定安装（ GPL 协议） snappy 压缩速度快，压缩比一般，不可 split (行文件)，自定安装（ GPL 协议） bzip 压缩比最高，但是压缩慢，自定安装 压缩格式gzip/snappy/lzo/bzip2 比较与总结_zzhongcy的博客-CSDN博客_lzo压缩比例 1. Data Modeling in Hadoop
CS-BP.zip_CS BP_CS压缩感知_压缩感知数据_大数据 压缩_数据压缩恢复
07-15
标题"CS-BP.zip_CS BP_CS压缩感知_压缩感知数据_大数据 压缩_数据压缩恢复"暗示了我们将探讨基于压缩感知的压缩与恢复技术。 压缩感知的核心在于两个主要概念：稀疏性和可重构性。稀疏性是指信号可以用相对较少的非...
大数据压缩通信
09-12
首先，大数据压缩的主要目标是减少数据的存储空间和传输时间。在通信场景中，如果原始数据过大，可能会导致网络拥塞，增加传输延时。通过数据压缩技术，可以将大量信息转化为更紧凑的形式，从而减少在网络中的传输...
大数据Hive数据操纵语言DML
赵广陆
03-27 955
目录1 背景：RDBMS中insert使用（insert+values）2 insert + select3 multiple inserts多重插入4 dynamic partition insert动态分区插入4.1 功能4.2 配置参数4.3 案例：动态分区插入5 insert + directory导出数据6 Hive Transaction事务6.1 Hive事务背景知识6.2 Hive事务表局限性6.3 案例：创建使用Hive事务表7. DML-Update、Delete更新、删除数据
大数据中的压缩
Gru的博客
07-07 478
目录压缩优缺点压缩格式压缩的使用场景 压缩优缺点 优点：节省磁盘空间，提升磁盘利用率，加速磁盘/网络IO； 缺点：解压/压缩是需要CPU的，压缩会使集群cpu利用率高，所以当集群负载高了就不要使用压缩了； 总结来说，需不需要使用压缩是磁盘和CPU的取舍，也反映了大数据层面的任何调优都不是万能的，都需要根据实际需求来做调优。 压缩格式 大数据中常用的压缩格式：Bzip2，Gzip，Lzo，Lz4，S...
java gzip xml_Java GZIPInputStream与GZIPOutputStream的使用示例
weixin_33549115的博客
02-16 522
Java Gzip是一个压缩率非常高的类，它可以将Gzip文件通过GZIPInputStream类读取过来解压缩，也可以将字符串通过GZIPOutputStream类写成Gzip文件，当然了，我们可以把字符串压缩成byte[]数组之后网络传输，这样速度会比没有Gzip压缩的要快得多，请看之前的案例：Java GZIP压缩与解压缩字符串下面我们将来学习如何使用Java GZIPInputStrea...
压缩存储方式
qq_45426640的博客
11-30 4466
数据结构, 设有一个10阶的对称矩阵A,采用压缩存储方式,以行序为主存储,a11为第一元素,其存储地址为1,每个元素占一个地址空间,则a85的地址为( A ). A.33 B.32 C.18 D.40 是这样存储的 a11 a21 a22 a31 a32 a33. 以此类推. 那么a11到a77一共有(1+7)*7/2=28个. a81到a85是5个 所以就是33 ...
压缩与存储
First_____的博客
06-09 306
9.1.1MR 支持的压缩编码 为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示： 压缩格式==== 对应的编码/解码器 DEFLATE-------org.apache.hadoop.io.compress.DefaultCodec gzip---------------org.apache.hadoop.io.compress.GzipCodec bzip2-------------org.apache.hadoop.io.compress.BZip2Codec LZO---
压缩和存储
09-17 651
Hadoop源码编译支持Snappy压缩 资源准备 1．CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2．jar包准备(hadoop源码、JDK8 、maven、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）snappy-1.1.3.tar.gz （4）apache-maven-3.
大数据文件格式与Hadoop压缩算法详解
"这篇博客文章主要探讨了大数据环境中的文件存储格式和Hadoop支持的压缩算法，涵盖了多种常见的文件格式，如TextFile、SequenceFile、Avro File等，以及压缩算法snappy、lz4、gzip和lzo。" 在大数据处理中，文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值