Lzo库和Lzop 工具安装Lzop是32位的,但是自己UBUNTU是64位 需考虑

我的博客现在已经搬家到极客导航的博客模块中链接地址是:极客博客

顺便做了个程序员资源导航站www.gogeeks.cn,有兴趣的朋友不妨看一看有哪些还没了解到的IT方面的东西,比如框架,书籍,教程,开源社区等等吧。

系统:Ubuntu 10.10

   注意:gcc 请更新到最新版本

1.介绍:

        LZO  是一个适合实时解压、压缩的压缩库。

2.下载

        Download (HTTP): http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

3 安装

tar -zxvf lzo-2.06.tar.gz

cd lzo-2.06

./configure --enable-shared && make 

切换到root用户安装

 make install

4 安装路径

 /usr/local/lib

/usr/local/include/lzo

5 官方安装教程:

http://www.linuxfromscratch.org/blfs/view/svn/general/LZO.html

有了压缩解压库,还不能直接操作文件压缩解压,需要安装

LZOP 基于lzo库的压缩解压工具

(1)下载:

       http://www.lzop.org/download/lzop-1.03-i386_linux.tar.gz

(2)安装:

        tar -zxvf lzop-1.0.3-i386_linux.tar.gz

        cd lzo-1.0.3

        ./configure

        make  &&  make install

(3)设置 LD_LIBRARY_PATH

        1)export LD_LIBRARY_PATH=/user/local/lib 即:上面安装的lzo压缩解压库

        2)在~/.bash_profile或者~/.bashrc文件中添加

           export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

(4)测试安装结果:

   lzop  test.txt

  结果 生成 test.txt.lzo

转载于:https://www.cnblogs.com/aftereclipse/archive/2013/04/28/3049344.html

相关资源:Lzo压缩安装包_lzo压缩-C++工具类资源-CSDN文库

Lzo库和Lzop 工具安装_weixin_30522183的博客-CSDN博客我的博客现在已经搬家到极客导航的博客模块中链接地址是:极客博客顺便做了个程序员资源导航站www.gogeeks.cn,有兴趣的朋友不妨看一看有哪些还没了解到的IT方面的东西,比如框架,书籍,教程,开源社区等等吧。系统:Ubuntu 10.10 注意:gcc 请更新到最新版本1.介绍:LZO 是一个适合实时解压、压缩的压缩库。2.下...https://blog.csdn.net/weixin_30522183/article/details/95370419

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LZO是一种高效的压缩算法,可以在Hadoop中用于压缩和解压缩数据,从而提高数据处理的效率。下面是将LZO安装到Hadoop中的步骤: 1. 下载LZO 你可以从LZO的官方网站(http://www.oberhumer.com/opensource/lzo/)上下载LZO的源代码。 2. 安装LZO 解压下载的LZO源代码包,进入解压后的文件夹,执行以下命令进行编译和安装: ``` ./configure --prefix=/usr/local make sudo make install ``` 3. 下载Hadoop LZO 从Hadoop官方网站(http://www.apache.org/dyn/closer.cgi/hadoop/common/)下载与你当前使用的Hadoop版本相对应的LZO。例如,如果你使用的是Hadoop 2.7.3版本,则应该下载hadoop-lzo-0.4.20.tar.gz。 4. 安装Hadoop LZO 解压下载的Hadoop LZO,进入解压后的文件夹,执行以下命令进行编译和安装: ``` export LZO_HOME=/usr/local export HADOOP_HOME=/path/to/your/hadoop export HADOOP_PREFIX=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" mvn clean package -Pdist,native -DskipTests=true -Dtar ``` 其中,`/usr/local`应该替换为你之前安装LZO时指定的安装路径;`/path/to/your/hadoop`应该替换为你的Hadoop安装路径。 编译和安装完成后,将生成的`hadoop-lzo-0.4.20.tar.gz`文件解压到Hadoop的安装目录中,并将其中的`.jar`和`.so`文件复制到Hadoop的`lib`目录中。 5. 配置Hadoop 编辑Hadoop的配置文件`$HADOOP_HOME/etc/hadoop/core-site.xml`,加入以下内容: ``` <property> <name>io.compression.codecs</name> <value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property> <property> <name>io.compression.codec.lzop.class</name> <value>com.hadoop.compression.lzo.LzopCodec</value> </property> <property> <name>mapreduce.map.output.compress</name> <value>true</value> </property> <property> <name>mapreduce.map.output.compress.codec</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property> ``` 其中,`com.hadoop.compression.lzo`是LZO中的Java包名。 6. 测试 在Hadoop中使用LZO进行压缩和解压缩数据时,要指定相应的压缩和解压缩类。例如,在MapReduce作业中使用LZO进行压缩和解压缩数据时,可以使用以下命令: ``` hadoop jar your-jar-file.jar \ -D mapreduce.map.output.compress=true \ -D mapreduce.map.output.compress.codec=com.hadoop.compression.lzo.LzoCodec \ -D mapred.output.compress=true \ -D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec \ input-path \ output-path ``` 其中,`com.hadoop.compression.lzo.LzoCodec`是LZO中用于压缩和解压缩数据的类名。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值