Hadoop 的lzo压缩尝试

最新推荐文章于 2018-12-11 23:43:23 发布
最新推荐文章于 2018-12-11 23:43:23 发布
阅读量485 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liaosongbo/article/details/5727796
版权

具体设置见那两个网页，一个是hadoop-gpl-compression 的wiki,一个是[hadoop系列]hadoop-gpl-compression的安装和编译

切记要

<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>

<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

 

用了lzo压缩之后，由平均4：15左右降低到3：50左右。依然是4G的PageRank。

 

StevenCoder
关注
专栏目录
hadoop中使用lzo压缩算法
qq534178181的博客
07-29 1628
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequencefile本身是分块的，所以sequencefile格式的文件，再配上lzo的压缩格式，就可实现lzo文件方式的sp
hadoop配置支持LZO压缩格式并支持分片
weixin_30527143的博客
04-18 199
【简介】 1@LZO本身是不支持分片的，但是我们给LZO压缩的文件加上索引，就支持分片了 2@Linux本身是不支持LZO压缩的，所以我们需要下载安装软件包，其中包括三个：lzo,lzop,hdoop-gpl-packaging. 3@hdoop-gpl-packaging的主要作用就是给压缩的LZO文件创建索引，否则LZO是不支持分片的，无论文件有多大，都只能有一个map 【说明】...
lzo压缩
superpeng2000的博客
08-23 499
项目需要，在脱离hadoop的环境下进行lzo压缩，折腾了好几天，总结一下备忘 【首先lzo不像gzip那样，引入个包就能压缩，lzo需要调用底层c/c++库，所以一般都是在linux下先安装lzo压缩工具，生成native lib才可以压缩。安装lzo需要ant编译工具支持，所以如果没有ant，需要先安装，主要参照了这篇博客http://www.cnblogs.com/chaoboma/a...
Hadoop支持LZO
weixin_43267534的博客
12-11 862
首先需要配置环境 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 下载lzo包 wget www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 解压 tar -zxvf lzo-2.06.tar.gz -C ~/app 然后进入到目录中执行以...
使hadoop支持Splittable压缩lzo
快乐程序员的专栏
10-15 1467
在hadoop中使用lzo的压缩算法可以减小数据 的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是seque
hadoop中使用lzo的压缩
nuoline的专栏
02-25 923
在hadoop中使用lzo的压缩算法可以减小数据 的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。 lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequenc
centos6.4hadoop2.2使用lzo压缩配置和测试
大数据训练营
06-21 7420
如有疑问关注新浪微博: http://weibo.com/youlingR   或者qq:946578327 资料下载地址: http://pan.baidu.com/s/1sj4Sbwx Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持
hadoop对于压缩文件的支持
我的博客
03-15 832
hadoop对于压缩文件的支持
hadoop安装lzo
零度
10-05 5080
趁着假期闲着把之前的一些笔记整理出来放到博客上来，以后JavaEye上的博客就不再更新了! 大纲 我的运行环境：JDK1.6、Redhat6 32bit、apache Hadoop1.X（社区版本）--Hadoop CDH3、4版本也适用.如有差异文中会特别注明。  在没有特别指出的话，所有操作都是在Namenode中进行的.安装完成后最后同步到集群其它节点，当然你也可以根据实际环境做相
Lzo压缩安装包
10-24
对于hadoop-lzo，你可以创建一个Hadoop集群并尝试读取和处理Lzo压缩的文件。 6. **系统集成**：如果是在Hadoop环境中，还需要将hadoop-lzo的相关库和配置添加到Hadoop的类路径中，并配置MapReduce作业支持Lzo压缩...
【Hadoop/Hbase】centos上安装并设置Snappy/LZO压缩方式
zwan0518的专栏
07-30 8450
在hadoop和hbase文件传输可以在压缩之后在进行传输，这样就可以在传输的时候减少传输数据，增大I/O和带宽效率。在hadoop中主要提供了三种压缩方式Gzip、LZO、Snappy三种数据压缩。后面两种需要额外的配置和安装依赖。但是，在hadoop中默认都已经实现接口。
hadoop对于压缩文件的支持及算法优缺点
快乐程序员的专栏
08-26 1173
hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 　　如果我们压缩的文件有相应压缩格式的扩展名(比如lzo，gz，bzip2等)，hadoop就会根据扩展名去选择解码器解压。 压缩格式 工具 算法 文件扩展名 多文件 可分割性 DEFLATE 无 D
Hadoop的combiner尝试
liaosongbo的专栏
06-08 2010
Hadoop样例代码中的wordcount使用了combiner。但对于map的输出形式与reduce输出形式不一样的应用，直接使用reduce函数进行combiner会出错。因此，必须自己重写combiner。在撰写含有combiner的应用时，需注意，对于所有Map的输出，并非一定都经过combiner步骤，可能直接的读写就进入了reduce。而且combiner虽然能减少IO,但是会增加Map时间（等于多做了一次reduce)，能否提高总体性能要看实际情况而定。
Hadoop namenode宕机问题。
liaosongbo的专栏
06-26 1937
<br />最近Hadoop平台常常出现问题，应该是namenode的问题，空间不足，无法写入之类。<br />现阶段发现的原因是tmp文件夹，都删除后格式化，问题暂时没再出现
Hadoop的sequence File
liaosongbo的专栏
06-10 1468
<br />第一次写自定义类型的sequence File。<br />发现必须继承两个文件一个是sequenceFileinputformat,一个是sequenceFileRecordReader。<br />发现虽然Hadoop中有arraywritable类型，但是很难使用。<br />无论是哪种inputformat，其读取key/value对时，无论是以byte[]，还是String ,都无法将value还原回array。<br />如果用object，还是会降低效率。<br />最好都用Tex
sequencefile 和arraywritable问题解
liaosongbo的专栏
06-26 959
arraywritable的问题还是由sequencefile 来解决新的recordreader不再是继承sequencefilerecordreader，而是继承recordreader，按照sequencefilerecordreader的方式来写有个问题是nextkeyvalue函数里，都要求参数是object类型，在此可以用objectwritable来解决还有arraywritable没有参数个数为零的构造函数，会导致Map到Reduce过程中传输问题。可以继承arraywritable，自己来
基于图的PageRank on Hadoop
liaosongbo的专栏
06-27 894
老板一直希望我们能用图分割的方法来做PageRank on Hadoop。但是涉及困难很多，一直无法下手。今天看着程序慢慢的运行，感慨收敛速度慢的要死，终于有些新想法。也算是给基于图的PageRank on Hadoop开一个头。可以先将图分割，在这里可以分的多一点，例如50张。暂不考虑单机处理和单图收敛问题。如果某一张图判断已收敛，就将其遗弃。以减轻I/O。单张图收敛次数应该小于全局。使收敛更快。求图切割算法ing.
HDFS源码剖析第一篇：Hadoop Configuraion
liaosongbo的专栏
05-11 853
HDFS源码剖析第一篇：Hadoop Configuraion
hadoop lzo编译过程
最新发布
05-23
LZO是一种压缩格式，对于Hadoop来说，它可以提高Hadoop的文件读写速度和存储效率。下面是Hadoop LZO编译过程的步骤： 1. 下载LZO压缩库源码 可以从LZO的官网下载最新的源码包。 2. 安装编译工具 在编译之前需要安装GCC和make等编译工具，可以使用以下命令安装： ``` sudo apt-get install gcc make ``` 3. 安装LZO依赖库 需要安装LZO库的依赖库，可以使用以下命令安装： ``` sudo apt-get install libtool liblzo2-dev ``` 4. 编译LZO库 使用以下命令编译LZO库： ``` tar -zxvf lzo-2.10.tar.gz cd lzo-2.10 ./configure make sudo make install ``` 5. 安装Hadoop LZO支持 下载Hadoop LZO支持源码包，解压后进入目录中执行以下命令： ``` export CFLAGS="-m64 -I/usr/local/include" export LDFLAGS="-L/usr/local/lib" ant compile-native tar ``` 6. 配置Hadoop LZO 在Hadoop的配置文件中，增加以下配置： ``` <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property> ``` 7. 重启Hadoop服务 可以使用以下命令进行重启： ``` hadoop-daemon.sh stop datanode && hadoop-daemon.sh start datanode ``` 经过以上步骤，就可以成功编译安装Hadoop LZO支持了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值