LZOP的使用

安装

下载LZO库包，http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz
2. 上传至/usr/local目录，并解压缩
3. 解压后进入/usr/local/lzo-2.06目录，执行如下命令安装LZO库
./configure --enable-shared
make
make install
4. 库文件被默认安装至/usr/local目录，执行如下命令将库文件cp至/usr/lib64（32位平台为/usr/lib）
cd /usr/local/lib
cp -dp liblzo2.* /usr/lib64/(这一步很重要)

三、安装LZOP程序（root用户操作）

如果不使用安装后linux环境下的lzop程序，生成*.lzo压缩文件后再倒入hive表中，则该步骤可以省去；建议在hive所在的服务器安装一个

1. 下载LZOP程序，http://www.lzop.org/download/lzop-1.03.tar.gz
2. 上传至/usr/local目录，并解压缩
3. 解压后进入/usr/local/lzop-1.03目录，执行如下命令安装LZOP程序
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
./configure
make
make install
4. 完成后在，LZOP程序在/usr/local/bin/lzop
5. which lzop看是否能找到lzop程序，找不到执行如下命令再尝试which lzop
ln -s /usr/local/bin/lzop /usr/bin/lzop

使用命令

# lzop -v test # 创建test.lzo压缩文件，输出详细信息，保留test文件不变

# lzop -Uv test # 创建test.lzo压缩文件，输出详细信息，删除test文件

# lzop -t test.lzo # 测试test.lzo压缩文件的完整性

# lzop –info test.lzo # 列出test.lzo中各个文件的文件头

# lzop -l test.lzo # 列出test.lzo中各个文件的压缩信息

# lzop –ls test.lzo # 列出test.lzo文件的内容，同ls -l功能

# cat test | lzop > t.lzo # 压缩标准输入并定向到标准输出

# lzop -dv test.lzo # 解压test.lzo得到test文件，输出详细信息，保留test.lzo不变