Hadoop2.2安装出现不支持bzip2压缩问题原因分析

刚装的hadoop2.2的集群,散仙在执行bin/hadoop checknative 命令时,出现如下警告:


[img]http://dl2.iteye.com/upload/attachment/0104/4231/309ef9f8-6888-3ee1-8c85-a7bf44ec99b7.jpg[/img]

bizip2的的本地压缩支持无效,整个编译过程,并没有出现任何错误,或异常,而且去cenots下的lib64位目录下,查看libbz2的so文件,发现也正常
[code="java"]# ll /lib64/libb*
lrwxrwxrwx. 1 root root 17 7月 16 01:49 /lib64/libblkid.so.1 -> libblkid.so.1.1.0
-rwxr-xr-x. 1 root root 136136 11月 22 2013 /lib64/libblkid.so.1.1.0
lrwxrwxrwx. 1 root root 15 7月 16 01:49 /lib64/libbz2.so.1 -> libbz2.so.1.0.4
-rwxr-xr-x. 1 root root 67592 6月 25 2011 /lib64/libbz2.so.1.0.4
# [/code]

那么问题出现在哪里呢? 经google查找,发现这是hadoop2.3之前版本都有的一个问题,具体的原因,请点击[url=https://issues.apache.org/jira/browse/HADOOP-10409]此处[/url]问题的具体原因,就是因为在编译hadoop时,由于centos系统没有安装bzip2-devel库文件,导致的,然后,散仙在本机上使用命令:
rpm -qa bzip2-devel

查询是否安装这个库,结果,果然没有安装,知道原因后,解决就很简单了,使用
yum install -y bzip2-devel命令,安装bzip2-devel库支持,然后重新编译我们的hadoop即可。

编译完成后,再次执行bin/hadoop checknative命令后,发现已经支持bzip2,压缩:
[code="java"]# bin/hadoop checknative
14/12/17 02:04:56 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native
14/12/17 02:04:56 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /root/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0
zlib: true /lib64/libz.so.1
snappy: false
lz4: true revision:43
bzip2: true /lib64/libbz2.so.1
# [/code]

[img]http://dl2.iteye.com/upload/attachment/0104/4233/2ce8b6a3-06fc-3526-be34-00f8275fa419.jpg[/img]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值