分3步完成
1.需要使用root安装liblzo动态链接库
#root
cp ./lib64/liblzo2.so.2.0.0 /lib64
cd /lib64/
ln -s liblzo2.so.2.0.0 liblzo2.so
ln -s liblzo2.so.2.0.0 liblzo2.so.2
--检查下是否拷贝进去了
ls -l /lib64|grep lzo|wc -l
3
2.hive用户安装gpl jar包和本地库
su - username
--jar
cp ./hadoop-gpl-compression-0.1.0-dev.jar $HADOOP_HOME/lib
-- local library
cp ./Linux-amd64-64.tar $HADOOP_HOME/lib/native
cp ./Linux-i386-32.tar $HADOOP_HOME/lib/native
cd $HADOOP_HOME/lib/native
tar -xf Linux-amd64-64.tar
tar -xf Linux-i386-32.tar
ls -l Linux-amd64-64|wc -l
ls -l Linux-i386-32|wc -l
3.修改两个配置文件
cd $HADOOP_CONF_DIR
修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
修改hadoop配置文件 $HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)
<property>
<name>mapred.reduce.slowstart.completed.maps</name>
<value>0.3</value>
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
1.需要使用root安装liblzo动态链接库
#root
cp ./lib64/liblzo2.so.2.0.0 /lib64
cd /lib64/
ln -s liblzo2.so.2.0.0 liblzo2.so
ln -s liblzo2.so.2.0.0 liblzo2.so.2
--检查下是否拷贝进去了
ls -l /lib64|grep lzo|wc -l
3
2.hive用户安装gpl jar包和本地库
su - username
--jar
cp ./hadoop-gpl-compression-0.1.0-dev.jar $HADOOP_HOME/lib
-- local library
cp ./Linux-amd64-64.tar $HADOOP_HOME/lib/native
cp ./Linux-i386-32.tar $HADOOP_HOME/lib/native
cd $HADOOP_HOME/lib/native
tar -xf Linux-amd64-64.tar
tar -xf Linux-i386-32.tar
ls -l Linux-amd64-64|wc -l
ls -l Linux-i386-32|wc -l
3.修改两个配置文件
cd $HADOOP_CONF_DIR
修改hadoop配置文件 $HADOOP_CONF_DIR/core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
修改hadoop配置文件 $HADOOP_CONF_DIR/mapred-site.xml (包含慢启动)
<property>
<name>mapred.reduce.slowstart.completed.maps</name>
<value>0.3</value>
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>