Hadoop压缩存储测试

最新推荐文章于 2021-09-06 08:58:35 发布
最新推荐文章于 2021-09-06 08:58:35 发布
阅读量223 收藏
点赞数 1
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hejiahao_/article/details/116132058
版权

Hadoop压缩存储测试执行

1.放大测试数据

放大之后的大小 : 6.26

内容 : 重复的测序数据
在这里插入图片描述

上传到服务器 文件名 : test1_R1.fq
在这里插入图片描述

2.部署Hadoop环境

2.1上传Hadoop包

在这里插入图片描述

3.执行各个格式压缩解压

设置HDFS的副本数为1
在这里插入图片描述

查看可用的压缩格式 hadoop checknative
在这里插入图片描述

配置压缩格式之后
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZkXXy0Jx-1619338844829)(9C5F677A3DF04D10BCBCC421B10A51F0)]

3.1代码实现打成Jar包上传到服务器

在这里插入图片描述

3.2Gzip
hejiahao@MountHua:~/package$ java -jar  /home/hejiahao/package/HadoopCompress-1.0-SNAPSHOT.jar compress org.apache.hadoop.io.compress.GzipCodec /home/hejiahao/package/test1_R1.fq   .gz .fq
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
hejiahao@MountHua:~/package$ java -jar  /home/hejiahao/package/HadoopCompress-1.0-SNAPSHOT.jar compress org.apache.hadoop.io.compress.GzipCodec /home/hejiahao/package/test1_R1.fq   .fq .gz
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
05:02:50开始压缩------/home/hejiahao/package/test1_R1.fq
/home/hejiahao/package/test1_R1.fq--------压缩完成05:03:29
hejiahao@MountHua:~/package$ java -jar /home/hejiahao/package/HadoopCompress-1.0-SNAPSHOT.jar uncompress org.apache.hadoop.io.compress.GzipCodec  /home/hejiahao/package/test1_R1.gz   .gz .fq
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
load lzo class completed: org.apache.hadoop.io.compress.GzipCodec
05:06:00开始解压------/home/hejiahao/package/test1_R1.gz
org.apache.hadoop.io.compress.DecompressorStream@166fa74d--org.apache.hadoop.fs.FSDataOutputStream@40f08448
/home/hejiahao/package/test1_R1.gz--------解压完成05:06:15

结论 :
原始大小 : 6.3GB
压缩文件 : 60MB
压缩效率 : 53.16MB/s
压缩时间 : 39s
解压效率 : 336MB/s
解压时间 : 15s

3.3 Lzo
[root@hadoop101 testData]# lzop -v test1_R1.fq 
compressing test1_R1.fq into test1_R1.fq.lzo
[root@hadoop101 testData]# ll -h
total 7.7G
-rw-r--r-- 1 root root 393M Sep 21 23:44 090413_I352_FC31307AAXX_L6_SORssqRADDHAAPE_1.fq.gz
-rw-r--r-- 1 root root 722M Sep 22 00:26 090607_I352_FC31309AAXX_L1_SORssqRAPDIBAPE_2.fq.gz
-rw-r--r-- 1 root root 6.3G Sep 22 06:51 test1_R1.fq
-rw-r--r-- 1 root root 263M Sep 22 06:51 test1_R1.fq.lzo
[root@hadoop101 xinjian]# lzop -dv test1_R1.fq.lzo 
decompressing test1_R1.fq.lzo into test1_R1.fq
[root@hadoop101 xinjian]# ll
total 6844044
-rw-r--r-- 1 root root 6732822698 Sep 22 06:51 test1_R1.fq
-rw-r--r-- 1 root root  275475630 Sep 22 06:51 test1_R1.fq.lzo

结论 :
原始大小 : 6.3GB
压缩文件 : 263M
压缩效率 : 105MB/s
压缩时间 : 40秒
解压效率 : 39MB/s
解压时间 : 8秒

3.4 BZip2
[root@hadoop101 testData]# java  -jar /opt/software/HadoopCompress-1.0-SNAPSHOT.jar compress  org.apache.hadoop.io.compress.BZip2Codec   test1_R1.fq  .fq  .fq.bz2
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
开始压缩------test1_R1.fq
test1_R1.fq--------压缩完成
------------------------------------------------开始压缩下一个文件-------------------------------------------------------
[root@hadoop101 testData]# java  -jar /opt/software/HadoopCompress-1.0-SNAPSHOT.jar uncompress  org.apache.hadoop.io.compress.BZip2Codec   test1_R1.fq.bz2    .fq.bz2 .fq
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
load lzo class completed: org.apache.hadoop.io.compress.BZip2Codec
开始解压------test1_R1.fq.bz2
org.apache.hadoop.io.compress.BZip2Codec$BZip2CompressionInputStream@46238e3f--org.apache.hadoop.fs.FSDataOutputStream@6e2c9341
test1_R1.fq.bz2--------解压完成
------------------------------------------------开始解压下一个文件-------------------------------------------------------
[root@hadoop101 testData]#

结论 :
原始大小 : 6.3GB
压缩文件 : 50MB
压缩效率 : 3.4MB/s
压缩时间 : 35分钟
解压效率 : 8.9MB/s
解压时间 : 3分钟

3.5 Default
[root@hadoop101 testData]# java  -jar /opt/software/HadoopCompress-1.0-SNAPSHOT.jar compress  org.apache.hadoop.io.compress.DefaultCodec test1_R1.fq .fq .fq.deflate
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
开始压缩------test1_R1.fq
test1_R1.fq--------压缩完成
------------------------------------------------开始压缩下一个文件-------------------------------------------------------
[root@hadoop101 testData]# ll
total 1202184
-rw-r--r-- 1 root root 412088417 Sep 21 23:44 090413_I352_FC31307AAXX_L6_SORssqRADDHAAPE_1.fq.gz
-rw-r--r-- 1 root root 756945670 Sep 22 00:26 090607_I352_FC31309AAXX_L1_SORssqRAPDIBAPE_2.fq.gz
-rw-r--r-- 1 root root  61996481 Sep 22 06:47 test1_R1.fq.deflate
[root@hadoop101 testData]# 
[root@hadoop101 testData]# java  -jar /opt/software/HadoopCompress-1.0-SNAPSHOT.jar uncompress  org.apache.hadoop.io.compress.BZip2Codec   test1_R1.fq.bz2   
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
load lzo class completed: org.apache.hadoop.io.compress.BZip2Codec
开始解压------test1_R1.fq.bz2
org.apache.hadoop.io.compress.BZip2Codec$BZip2CompressionInputStream@46238e3f--org.apache.hadoop.fs.FSDataOutputStream@6e2c9341
test1_R1.fq.bz2--------解压完成
[root@hadoop101 testData]# ll
total 7716664
-rw-r--r-- 1 root root  412088417 Sep 21 23:44 090413_I352_FC31307AAXX_L6_SORssqRADDHAAPE_1.fq.gz
-rw-r--r-- 1 root root  756945670 Sep 22 00:26 090607_I352_FC31309AAXX_L1_SORssqRAPDIBAPE_2.fq.gz
-rw-r--r-- 1 root root 6732822698 Sep 22 06:51 test1_R1.fq

结论 :
原始大小 : 6.3GB
压缩文件 : 61MB
压缩效率 : 55MB/s
压缩时间 : 95秒
解压效率 : 17.2MB/s
解压时间 : 10秒

3.6 Lz4
[root@hadoop101 testData]# java  -jar /opt/software/HadoopCompress-1.0-SNAPSHOT.jar compress  org.apache.hadoop.io.compress.Lz4Codec  /testData/test1_R1.fq  .fq  .fq.lz4
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
开始压缩------/testData/test1_R1.fq
/testData/test1_R1.fq--------压缩完成
------------------------------------------------开始压缩下一个文件-------------------------------------------------------
[root@hadoop101 testData]# java  -jar /opt/software/HadoopCompress-1.0-SNAPSHOT.jar uncompress  org.apache.hadoop.io.compress.Lz4Codec  /testData/test1_R1.fq.lz4  .lz4 .fq  
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

load lzo class completed: org.apache.hadoop.io.compress.Lz4Codec
开始解压------/testData/test1_R1.fq.lz4
org.apache.hadoop.io.compress.BlockDecompressorStream@1efee8e7--org.apache.hadoop.fs.FSDataOutputStream@1ee807c6
/testData/test1_R1.fq.lz4--------解压完成
------------------------------------------------开始解压下一个文件-------------------------------------------------------

结论 :
原始大小 : 6.3GB
压缩文件 : 74MB
压缩效率 : 110MB/s
压缩时间 : 54秒
解压效率 : 45.32MB/s
解压时间 : 7秒

4.统计压缩效率

压缩算法原始文件大小压缩文件大小压缩速度解压速度
Gzip6.3GB61MB53.16MB/s68MB/s
BZip26.3GB50MB3.4MB/s8.9MB/s
Default6.3GB61MB55.48MB/s17.2MB/s
Lzo6.3GB263MB105MB/s39MB/s
Lz46.3GB74MB110MB/s45.32MB/s

5.验证数据完整性

  • Gzip
[root@hadoop101 testData]# wc -l test1_R1.gz 
52216 test1_R1.gz
[root@hadoop101 testData]# 
[root@hadoop101 testData]# wc -l test1_R1.fq 
73189026 test1_R1.fq
[root@hadoop101 testData]#

Gzip行数 52216 解压之后行数73189026

  • Bzip2
hejiahao@MountHua:~/package$ wc -l test1_R1.fq.bz2 
263703 test1_R1.fq.bz2
hejiahao@MountHua:~/package$ 
hejiahao@MountHua:~/package$ wc -l test1_R1.fq
73189026 test1_R1.fq
hejiahao@MountHua:~/package$

Bzip2文件行数 263703 解压之后行数73189026

测试结果报告

放大数据版测试报告

压缩算法原始文件大小压缩文件大小压缩速度解压速度
Gzip6.3GB61MB53.16MB/s68MB/s
BZip26.3GB50MB3.4MB/s8.9MB/s
Default6.3GB61MB55.48MB/s17.2MB/s
Lzo6.3GB263MB105MB/s39MB/s
Lz46.3GB74MB110MB/s45.32MB/s

其他数据版测试报告

压缩算法原始文件大小压缩文件大小压缩速度解压速度
Gzip1.9G721MB16.65MB/s23.35MB/s
BZip21.9G592M10.03MB/s15.26MB/s
Default1.9G721MB17.42MB/s26MB/s
Lzo1.9G1.1G35MB/s17MB/s
Lz41.9G1.239MS/s21MB/s

压缩时服务器性能

hejiahao@MountHua:~$ free -m
              total        used        free      shared  buff/cache   available
Mem:          32043        3144       11012           1       17886       28446
Swap:          8191           0        8191
hejiahao@MountHua:~$
  • 内存使用情况

total : 总数32043
used : 已使用 3144
free : 空闲数 11012
shared : 共享内存总额 0
buff/cache：(已用)的内存数 17886
available : 还剩内存 28446

数据是否丢失

  • Gzip
[root@hadoop101 testData]# wc -l test1_R1.gz 
52216 test1_R1.gz
[root@hadoop101 testData]# 
[root@hadoop101 testData]# wc -l test1_R1.fq 
73189026 test1_R1.fq
[root@hadoop101 testData]#

Gzip行数 52216 解压之后行数73189026

  • Bzip2
hejiahao@MountHua:~/package$ wc -l test1_R1.fq.bz2 
263703 test1_R1.fq.bz2
hejiahao@MountHua:~/package$ 
hejiahao@MountHua:~/package$ wc -l test1_R1.fq
73189026 test1_R1.fq
hejiahao@MountHua:~/package$

Bzip2文件行数 263703 解压之后行数73189026

结论:数据未丢失

总结及建议采用格式

gzip压缩
  • 优点：
    • 压缩率比较高，而且压缩/解压速度也比较快；
    • hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；
    • 有hadoop native库；
    • 大部分linux系统都自带gzip命令，使用方便。
  • 缺点：不支持split。
lzo压缩
  • 优点：
    • 压缩/解压速度也比较快，合理的压缩率；
    • 支持split，是hadoop中最流行的压缩格式；
    • 支持hadoop native库；
    • 可以在linux系统下安装lzop命令，使用方便。
  • 缺点：
    • 压缩率比gzip要低一些；
    • hadoop本身不支持，需要安装；
    • 在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）。
bzip2压缩
  • 优点：
    • 支持split；
    • 具有很高的压缩率，比gzip压缩率都高；
    • hadoop本身支持，但不支持native；
    • 在linux系统下自带bzip2命令，使用方便。
  • 缺点：
    • 压缩/解压速度慢；
    • 不支持native。
建议
  • Bzip2 :
速度要求不高，但需要较高的压缩率的时候以及,
对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。
何以问_
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop网站KPI使用数据
06-15
656MB的日志数据，可以测试数据分片，数据压缩，多节点存储的功能
Hive(二):之Compression(2)----HDFS/Hive里的压缩配置和测试
huonan_123的博客
12-01 872
通过简单的Demo学会Hive,HDFS里的压缩技术 其中包括BZip2测试.Lzo压缩测试及索引创建
存储压缩测试
pansaky的博客
07-01 1124
存储测试在压缩功能测试时，有些凌乱，因为一般提供压缩功能的存储大多数会提供重删功能，单纯的测试压缩，定性还是定量，使用什么工具等都是一些比较难选择的问题， 比如说，测试压缩时定性测试首先避开重删，那么要求我们写入的数据在存储后端切块后不会有重复数据，如何搞？ 下面聊聊一个本办法的思路， 1，后端数据切块多大 ？如 切块4k存储，我们就给他写4k数据，要...
大数据开发--hadoop压缩 snappy测试
qq_34382453的博客
12-10 1413
摘要：   我们用Apache或者CDH下载下来的hadoop安装包来安装hadoop是不支持snappy压缩的，我们可以查看$HADOOP_HOME/lib/native,最开始里面是空的。或者执行hadoop checknative -a来查看支持的压缩，发现压缩格式基本都是false。如果要用snappy压缩，需要重新编译hadoop。下面我们来编译hadoop。 一、编译准备 部署JAV...
大数据开发--hadoop压缩 lzo测试
qq_34382453的博客
12-11 558
摘要：   lzo并不是linux系统原生支持，所以需要下载安装软件包。这里至少需要安装3个软件包：lzo, lzop, hadoop-gpl-packaging。gpl-packaging的作用主要是对压缩的lzo文件创建索引，否则的话，无论压缩文件是否大于hdfs的block大小，都只会按照默认启动2个map操作。 一、安装lzop native library > wget http...
Hadoop压缩方式
Gavin
09-17 2814
讨论用于优化MapReduce程序的I/O性能的数据压缩方式
HADOOP硬实战1
11-20
它为开发者进行数据存储、管理以及分析提供便利的方法。 《Hadoop硬实战》收集了85个问题场景以及解决方案的实战演练。在关键问题领域对基础概念和实战方法做了权衡，例如导入导出、序列化，以及LZO压缩。你将会...
Hadoop权威指南（中文版）2015上传.rar
10-12
利用基准测试程序测试Hadoop集群 Hadoop基准测试程序 用户的作业 云上的Hadoop Amazon EC2上的Hadoop 第10章 管理Hadoop HDFS 永久性数据结构 安全模式 日志审计 工具 监控 日志 度量 Java管理扩展（JMX） 维护 日常...
orc：Apache ORC-用于Hadoop工作负载的最小，最快的列式存储
02-03
以列格式存储数据使阅读器仅可以读取，解压缩和处理当前查询所需的值。 由于ORC文件可识别类型，因此编写器为该类型选择最合适的编码，并在写入文件时建立内部索引。 谓词下推使用这些索引来确定特定查询需要读取...
Hadoop 数据压缩
Da.的博客
05-29 5408
1 概述 压缩技术能够有效减少底层存储系统（HDFS） 读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop 下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下， I/O 操作和网络数据传输要花大量的时间。还有， Shuffle与 Merge 过程同样也面临着巨大的 I/O 压力。 鉴于磁盘 I/O 和网络带宽是 Hadoop 的宝贵资源，数据压缩...
hadoop中压缩与解压详解
热门推荐
03-12 2万+
1 概述 对于压缩的好处可以从两方面考虑：Storage + Compute； 1. Storage ：基于HDFS考虑，减少了存储文件所占空间，提升了数据传输速率； 2. Compute：基于YARN上的计算(MapReduce/Hive/Spark/….)速度的提升； 在hadoop大数据的背景下，这两点尤为重要，怎样达到一个高效的处理，选择什么样的压缩方式和存储格式（下篇博客介绍）是...
Hadoop之常见压缩格式
weixin_43777152的博客
11-19 668
前言 为什么会出现需要对文件进行压缩？ 在Hadoop中，文件需要存储、传输、读取磁盘、写入磁盘等等操作，而文件的大小，直接决定了这些这些操作的速度。 1.压缩的好处和坏处 好处 减少存储磁盘空间 降低IO(网络的IO和磁盘的IO) 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度 坏处 由于使用数据时，需要先将数据解压，加重CPU负荷。而且压缩的越狠，耗费的时间越多。 2.压缩格式 支持native表示，hadoop自己提供了功能的实现，而不是依赖外部，如bzip2是不支持native，则表示
Hadoop数据压缩
weixin_46175018的博客
09-06 284
压缩概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、 Shuffle 和 Merge 要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。 由于磁盘 I/O 和网络带宽是 Hadoop 的宝贵资源，数据压缩对于节省资源、最小化磁盘 I/O 和网络传输非常有帮助。可以在任意 MapReduce 阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非
Hadoop之常见压缩格式以及性能对比
liweihope的博客
04-29 3497
1.压缩的好处和坏处 好处 减少存储磁盘空间 降低IO(网络的IO和磁盘的IO) 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度 坏处 由于使用数据时，需要先将数据解压，加重CPU负荷 2.压缩格式 压缩格式 工具 算法 扩展名 是否支持分割 Hadoop编码/解码器 DEFLATE N/A DEFLATE .deflate No org.apache.hadoo...
hadoop常用的压缩算法总结和实验验证
大明湖里有蛤蟆
08-24 2570
hadoop常用压缩算法性能总结，包括snappy、gzip、bzip2、LZ4、LZO、deflate等算法
hadoop支持lzo压缩测试
cllblogs
10-10 412
1.环境准备 jdk1.8/maven3.6.2/hadoop伪分布式 安装需要的库 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 2.安装 lzo 2.1.下载并解压lzo # 下载lzo压缩包 [hadoop@hadoop000 software]$ wget www.oberhumer.com...
基于Azure Blob冷存储的数据压缩算法测试对比分析
weixin_33845881的博客
09-04 120
背景说明： 　　近期公司的数据增量迅速增长，存储的成本太高，需要采用生命周期进行管理，热存储中的数据或者被删除，或者备份至冷存储。但是冷备时是否要压缩，需要进行验证。Azure本身没有提供压缩的接口，只能自己处理。以下是测试的结论。 备份压缩步骤 采用压缩流。验证了两种方式，方式一在文件较大时（>3G）会超时报错，方式二可行。 1、方式一：将源stream直接压缩包装输出到目标...
hadoop hive 压缩参数测试
刘光华的专栏
05-11 725
hadoop hive 压缩
hadoop DFSIO测试调优方法
最新发布
04-27
Hadoop DFSIO测试是一种测试Hadoop文件系统性能的基准测试方法。下面是一些常见的Hadoop DFSIO测试调优方法： 1. 增加数据块大小：默认情况下，Hadoop的数据块大小为64MB。如果你的数据集较大，可以考虑增加数据块大小以提高性能。 2. 调整并发数：并发数是指同一时间内执行的任务数。调整并发数可以提高测试的吞吐量。但是，如果并发数设置过高，会导致资源竞争和性能下降。 3. 使用SSD硬盘：使用SSD硬盘可以大大提高数据读写速度和响应时间。 4. 使用压缩技术：使用压缩技术可以减少数据传输时间和存储空间。 5. 调整JVM参数：调整JVM参数可以优化Hadoop的性能。例如，可以增加JVM的内存限制以提高处理速度。 6. 消除网络瓶颈：网络瓶颈可能是导致Hadoop性能下降的一个因素。可以通过调整网络拓扑结构或使用更高速的网络设备来消除网络瓶颈。 以上是一些常见的Hadoop DFSIO测试调优方法，但具体的优化方法还需要根据具体的场景进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值