TFile, SequenceFile与gz,lzo压缩的测试

最新推荐文章于 2022-06-16 21:21:59 发布
最新推荐文章于 2022-06-16 21:21:59 发布
阅读量216 收藏
点赞数
分类专栏： mapreduce&parallel 文章标签： Hadoop performance Apache C C++

先记一记,以后解释 :)

 

$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024
=== SeqFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/01/07 22:31:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/01/07 22:31:35 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/01/07 22:31:35 INFO compress.CodecPool: Got brand-new compressor
2010-01-07 22:31:35  Start writing: SeqFile.Performance...
2010-01-07 22:31:35 Started timing.
2010-01-07 22:34:19 Stopped timing.
2010-01-07 22:34:19  Duration: 164035ms...total size: 3078.62MB...raw thrpt: 18.77MB/s
2010-01-07 22:34:19  Compressed size: 1024.29MB...compressed thrpt: 6.24MB/s.
=== SeqFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
10/01/07 22:34:19 INFO compress.CodecPool: Got brand-new decompressor
2010-01-07 22:34:19  Start reading: SeqFile.Performance...
2010-01-07 22:34:19 Started timing.
2010-01-07 22:34:56 Stopped timing.
2010-01-07 22:34:56  Duration: 37222ms...total size: 3078.62MB...raw thrpt: 82.71MB/s
2010-01-07 22:34:56  Compressed size: 1024.29MB...compressed thrpt: 27.52MB/s.

$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f tfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024
=== TFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
2010-01-07 22:28:13  Start writing: TFile.Performance...
2010-01-07 22:28:13 Started timing.
10/01/07 22:28:13 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/01/07 22:28:13 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/01/07 22:28:13 INFO compress.CodecPool: Got brand-new compressor
2010-01-07 22:30:50 Stopped timing.
2010-01-07 22:30:50  Duration: 157829ms...total size: 3484.39MB...raw thrpt: 22.08MB/s
2010-01-07 22:30:50  Compressed size: 1024.05MB...compressed thrpt: 6.49MB/s.
=== TFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/01/07 22:30:50 INFO compress.CodecPool: Got brand-new decompressor
2010-01-07 22:30:50  Start reading: TFile.Performance...
2010-01-07 22:30:50 Started timing.
2010-01-07 22:31:22 Stopped timing.
2010-01-07 22:31:22  Duration: 31441ms...total size: 3484.39MB...raw thrpt: 110.82MB/s
2010-01-07 22:31:22  Compressed size: 1024.05MB...compressed thrpt: 32.57MB/s.


$hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c lzo -f tfile -r /home/zhoumin/tmp -x rw -b 65536 -s 1024    
=== TFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...lzo) ===
2010-01-07 22:35:21  Start writing: TFile.Performance...
2010-01-07 22:35:21 Started timing.
10/01/07 22:35:21 INFO tfile.Compression: Trying to load Lzo codec class: org.apache.hadoop.io.compress.LzoCodec
10/01/07 22:35:21 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/01/07 22:35:21 INFO compress.LzoCodec: Successfully loaded & initialized native-lzo library
10/01/07 22:35:21 INFO compress.CodecPool: Got brand-new compressor
2010-01-07 22:36:13 Stopped timing.
2010-01-07 22:36:13  Duration: 52223ms...total size: 2108.38MB...raw thrpt: 40.37MB/s
2010-01-07 22:36:13  Compressed size: 1024.08MB...compressed thrpt: 19.61MB/s.
=== TFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 65536.00KB...Target Size: 1024.00MB...Compression: ...lzo) ===
10/01/07 22:36:14 INFO compress.CodecPool: Got brand-new decompressor
2010-01-07 22:36:14  Start reading: TFile.Performance...
2010-01-07 22:36:14 Started timing.
2010-01-07 22:36:28 Stopped timing.
2010-01-07 22:36:28  Duration: 14685ms...total size: 2108.38MB...raw thrpt: 143.57MB/s
2010-01-07 22:36:28  Compressed size: 1024.08MB...compressed thrpt: 69.74MB/s.

 

 

hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeqFileComparison -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 2048 -s 1024       
=== SeqFile: Creation (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 2048.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/03/19 00:04:05 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/03/19 00:04:05 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/03/19 00:04:05 INFO compress.CodecPool: Got brand-new compressor
2010-03-19 00:04:05  Start writing: SeqFile.Performance...
2010-03-19 00:04:05 Started timing.
2010-03-19 00:06:53 Stopped timing.
2010-03-19 00:06:53  Duration: 168253ms...total size: 3080.42MB...raw thrpt: 18.31MB/s
2010-03-19 00:06:53  Compressed size: 1024.23MB...compressed thrpt: 6.09MB/s.
=== SeqFile: Reading (KLEN: 50-100... VLEN: 100-200...MinBlkSize: 2048.00KB...Target Size: 1024.00MB...Compression: ...gz) ===
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
10/03/19 00:06:53 INFO compress.CodecPool: Got brand-new decompressor
2010-03-19 00:06:53  Start reading: SeqFile.Performance...
2010-03-19 00:06:53 Started timing.
2010-03-19 00:07:31 Stopped timing.
2010-03-19 00:07:31  Duration: 37375ms...total size: 3080.42MB...raw thrpt: 82.42MB/s
2010-03-19 00:07:31  Compressed size: 1024.23MB...compressed thrpt: 27.40MB/s.

 

 

 

hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeek -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 1024 -s 2048    
10/03/18 21:40:09 INFO tfile.Compression: Trying to load Lzo codec class: org.apache.hadoop.io.compress.LzoCodec
10/03/18 21:40:09 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/03/18 21:40:09 INFO compress.LzoCodec: Successfully loaded & initialized native-lzo library
10/03/18 21:40:09 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/03/18 21:40:09 INFO compress.CodecPool: Got brand-new compressor
time: 347.10s...uncompressed: 6430.03MB...raw thrpt: 19.42MB/s
time: 347.10s...file size: 2048.07MB...disk thrpt: 6.19MB/s
10/03/18 21:45:56 INFO compress.CodecPool: Got brand-new decompressor
time: 17.28s...avg seek: 17.28ms...1000 hit...0 miss...avg I/O size: 0.16KB

 

 

hadoop jar tfile-0.00.1-dev.jar org.apache.hadoop.io.file.tfile.TestTFileSeek -c gz -f seqfile -r /home/zhoumin/tmp -x rw -b 2048 -s 2048
10/03/18 21:32:09 INFO tfile.Compression: Trying to load Lzo codec class: org.apache.hadoop.io.compress.LzoCodec
10/03/18 21:32:09 INFO util.NativeCodeLoader: Loaded the native-hadoop library
10/03/18 21:32:09 INFO compress.LzoCodec: Successfully loaded & initialized native-lzo library
10/03/18 21:32:09 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
10/03/18 21:32:09 INFO compress.CodecPool: Got brand-new compressor
time: 352.27s...uncompressed: 6464.91MB...raw thrpt: 19.24MB/s
time: 352.27s...file size: 2048.09MB...disk thrpt: 6.10MB/s
10/03/18 21:38:02 INFO compress.CodecPool: Got brand-new decompressor
time: 33.07s...avg seek: 33.07ms...1000 hit...0 miss...avg I/O size: 0.16KB

 

 

 

 

 

coderplay
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux渗透测试常用命令
学-> 思->用
08-07 46
【代码】linux渗透测试常用命令。
Hadoop文件压缩放到远程centos调试
weixin_30839881的博客
01-02 133
文件压缩 1、准备代码 package com.cr.compress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.io.compress.*; import org.apache.hado...
Hive(二):之Compression(2)----HDFS/Hive里的压缩配置和测试
huonan_123的博客
12-01 898
通过简单的Demo学会Hive,HDFS里的压缩技术 其中包括BZip2测试.Lzo压缩测试及索引创建
hadoop2.x之IO：压缩和解压缩
erygreat的博客
08-13 1422
文件压缩可以降低存储需要的空间，并且在传输过程中加快传输速度。因此对于大量数据的处理时，压缩是十分重要的。我们考虑一下Hadoop在文件中的压缩用法。 有许多压缩方式，如下： 压缩格式 工具 算法 文件拓展名 是否可切分 DEFLATE 无 DEFLATE .deflate 否 Gzip gzip DEFLATE .gz 否 bzip2
kylin使用中曾遇到的问题整理
热门推荐
奋斗的小鸟专栏
09-06 2万+
kylin使用中曾遇到的问题整理
实践数据湖iceberg 第三十五课 基于数据湖icerberg的流批一体架构--测试增量读是读全量还是仅读增量
spark_dev的博客
06-16 989
上一课中，讲到增量更新，小弟的boss问到，增量实现，是读增量数据还是把历史数据也重新读了一次？ 暴击，按照我的理解，就是读增量。。。，大佬是不认按照理解的！ 好吧，测试一下，故有本文，读者感到我滴血的心嘛，试问大家有没有这种经历。。。 ......
linux中解压缩后没有生成目录,linux下压缩和解压缩文件
weixin_39903571的博客
04-29 1516
Linux压缩文件的读取·*.Zcompress程序压缩的档案；·*.bz2bzip2程序压缩的档案；·*.gzgzip程序压缩的档案；·*.tartar程序打包的数据，并没有压缩过；·*.tar.gztar程序打包的档案，其中并且经过gzip的压缩！·*.zipzip程序压缩文件·*.rarrar程序压缩文件Compress压缩文件[root@test...
linux 备份 压缩 dd,tar(压缩，打包，备份)，dd(备份，建档)，cpio
weixin_36310141的博客
05-13 586
tar (打包)：tar [-cxtzjvfpPN] 档案与目录 ....参数：-c ：建立一个压缩档案的参数指令(create 的意思)；-x ：解开一个压缩档案的参数指令！-t ：查看 tarfile 里面的档案！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。-z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？-j ：是否同...
zip 压缩与解压缩工具
04-02
本文将详细讲解使用C++Builder 6开发的zip压缩与解压工具的相关知识点。 C++Builder 6是一款由Embarcadero Technologies开发的集成开发环境（IDE），它基于C++语言，并提供了强大的VCL（Visual Component Library）...
Delphi实现文件压缩解压
08-03
- **IOUtils.TFile**：Delphi的System.IOUtils单元提供了一些高级的文件操作函数，如TFile.Copy、TFile.Move和TFile.Delete等。 3. **文件压缩算法**： - ZIP格式：ZIP是最常见的压缩格式，使用了多种压缩算法，...
从HDFS上读取带lzo压缩的SequenceFile文件
逆流的金鱼
07-31 2495
使用java代码从HDFS上读取带lzo压缩的SequenceFile文件import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*;import java.io.*; import java.util.*;/** * Created by lcc
HBase使用经验总结
^_^TaeYang-Jade^_^
03-19 2827
问题导读 1.hbase表中的属性分别都是什么含义？ 2.hbase中如何实现预分区？ 3.hbase中本文采用了哪些优化方法？ 一、hbase中的常见属性        VERSIONS：指版本数        MIN_VERSIONS=> '0'：最小版本数        TTL=> 'FOREVER'：版本存活时间               假设ve
解决SequenceFile doesn't work with GzipCodec without native-hadoop code!问题
wzyhahaha的博客
01-30 1178
解决SequenceFile doesn’t work with GzipCodec without native-hadoop code!问题 照着Hadoop权威指南一直往下走，遇到了压缩的坑，以为完成了编译，就解决了问题，没想到问题还在后面。 用的是Hadoop2.6.0 出问题的代码是这一句： //设置压缩格式 SequenceFileOutputFormat.setOutputCompr...
HBase 管理，性能调优
ye_mingjia的专栏
01-04 592
HBase 管理，性能调优 标签（空格分隔）： HBase 性能优化 PERFORMANCE TUNING Hadoop 注：该文的原文是 HBASE ADMINISTRATION, PERFORMANCE TUNING 设置 Hadoop 来扩展磁盘 I/O 现代服务器通常有多个磁盘硬件来提供大存储能力。这些磁盘通常配置成 RAID 阵列，作为它们的出厂设置。这在很多情况
Hbase 踩坑
UnionIBM的博客
02-11 3368
2018-02-11 15:50:27,843 INFO [RpcServer.FifoWFPBQ.priority.handler=19,queue=1,port=16020] regionserver.RSRpcServices: Compacting archiveLogData,D,1517906411842.c5edfc6575a591b2b5eb06b9e069bd48. 2018-...
读写lzo
godspeedlaile9的专栏
01-22 1542
一、读lzo 在 《Hadoop 2.2.0安装和配置lzo》 文章中介绍了如何基于 Hadoop 2.2.0安装lzo。里面简单介绍了如果在Hive里面使用lzo数据。今天主要来说说如何在Hadoop 2.2.0中使用lzo压缩文件当作的数据。 　　lzo压缩默认的是不支持切分的，也就是说，如果直接把lzo文件当作Mapreduce任务的输入，那么Mapreduce只会用一个Map来
Hive文件存储格式的测试比较
valder fields
04-22 750
  整理了一下网上的几种Hive文件存储格式的性能与Hadoop的文件存储格式。   Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。另：Hive能支持自定义格...
Spark平台中，对lzo压缩文件的读取--Scala实现
ice_kind的博客
03-31 5758
#记录一个坑#在Spark中，有时需要对lzo压缩文件的读取。这里采用的是newAPIHadoopFile()来进行读取 val configuration = new Configuration() configuration.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,org.apac...
hdf5模型改成tfile模型
最新发布
04-04
把hdf5模型转换成tfile模型，可以使用TensorFlow的SavedModel API。具体步骤如下： 1. 加载hdf5模型 ```python import tensorflow as tf from tensorflow.keras.models import load_model hdf5_model = load_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值