在Centos下hadoop native-library错误

原创 2016年03月21日 23:23:32

hadoop-2.7.3 + Centos 6.7 64位环境下使用弄一套Hadoop环境过程的一些小事情。

(1)开始检查

[hadoop@xxx6 ~]$ hadoop checknative -a
16/03/21 23:12:46 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
16/03/21 23:12:46 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /home/hadoop/hadoop-2.7.2/lib/native/libhadoop.so
zlib:    true /lib64/libz.so.1
snappy:  false 
lz4:     true revision:99
bzip2:   false 
openssl: false Cannot load libcrypto.so (libcrypto.so: 无法打开共享对象文件: 没有那个文件或目录)!
16/03/21 23:12:46 INFO util.ExitUtil: Exiting with status 1


(2)问题查找

https://issues.apache.org/jira/browse/HADOOP-12845

Google一通下来,才知道这个是hadoop-2.7.2这个版本的BUG,还有待解决,目前只能去回避问题。


On RedHat system (Fedora/Centos/...) the /usr/lib64/libcrypto.so is a link provided by
openssl-devel RPM package which is fine on a build/development host,  but devel packages are
not supposed to be installed on Production servers (Hadoop Cluster) and the openssl RPM package
don't include that link which is a problem.

(3)问题解决

可以建立如下符号链接即可:

[hadoop@xxx6 ~]$ cd /usr/lib64/
[hadoop@xxx lib64]$ ln -s libcrypto.so.1.0.1e libcrypto.so


建立符号链接后再检查hadoop native,则现象改变了!

[hadoop@xxx6 ~]$ hadoop checknative -a
16/03/21 23:13:51 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
16/03/21 23:13:51 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /home/hadoop/hadoop-2.7.2/lib/native/libhadoop.so
zlib:    true /lib64/libz.so.1
snappy:  false 
lz4:     true revision:99
bzip2:   false 
openssl: true /usr/lib64/libcrypto.so
16/03/21 23:13:51 INFO util.ExitUtil: Exiting with status 1

执行 hadoop checknative 报错 openssl: false Cannot load libcrypto.so

部署完Hadoop之后,执行 hadoop checknative 对本地库做检查,执行结果为 17/02/09 10:02:41 WARN bzip2.Bzip2Factory: Fail...
  • linhanyichen
  • linhanyichen
  • 2017年02月09日 10:11
  • 1395

Hadoop之命令指南

所有的Hadoop命令都通过bin/hadoop脚本调用。在没有任何参数的情况下,运行Hadoop脚本将打印该命令描述。 [hduser@hadoop3 hadoop-2.4.1]$ bin/hado...
  • qianshangding0708
  • qianshangding0708
  • 2015年08月07日 10:43
  • 2643

错误Unable to load native-hadoop library for your platform...

出现这种问题,第一时间最好google,最好不好百度(浪费时间) 官方解析 http://hadoop.apache.org/docs/current/hadoop-project-dist/ha...
  • u013571243
  • u013571243
  • 2015年09月19日 11:24
  • 1091

hadoop native本地库问题总结

最近,打算hbase建表用snappy压缩时,碰到一些hadoop本地库的问题。其实这些问题是一直存在的,只是不影响正常使用,就没有引起重视。这次希望彻底解决以下问题: 问题一:执行start-df...
  • ligt0610
  • ligt0610
  • 2015年08月18日 19:19
  • 17912

maven 编译hadoop错误解决

hadoop编译错误 mvn   eclipse:eclipse  [INFO] ---------------------------------------------------------...
  • thisisvoa
  • thisisvoa
  • 2013年08月23日 17:25
  • 3284

HBase-0.90.4集群安装配置

HBase是Hadoop数据库,能够实现随机、实时读写你的Big Data,它是Google的Bigtable的开源实现,可以参考Bigtable的论文Bigtable: A Distributed ...
  • shirdrn
  • shirdrn
  • 2012年01月09日 01:22
  • 13326

小白笔记----------- 执行 hadoop checknative 报错 openssl: false Cannot load libcrypto.so

部署完Hadoop之后,执行 hadoop checknative 对本地库做检查,执行结果为 [plain] view plain copy 17/02/09 ...
  • Aaron92
  • Aaron92
  • 2017年02月13日 10:35
  • 314

hadoop native本地库问题总结

最近,打算hbase建表用snappy压缩时,碰到一些hadoop本地库的问题。其实这些问题是一直存在的,只是不影响正常使用,就没有引起重视。这次希望彻底解决以下问题: 问题一:执行start-df...
  • ligt0610
  • ligt0610
  • 2015年08月18日 19:19
  • 17912

导入Opencv自带Sample项目报错

一 src中的最后一个文件报错,在package的第一个字母都报错,所有导入的android的包都报错 原因:文件project.properties 配置错误 打开项目根目录下的文件project....
  • lllkey
  • lllkey
  • 2014年12月23日 13:43
  • 6491

mac Ruby下安装compass失败原因及解决办法

对MAC心向往之,终于在前几天,勒紧腰带,下定狠心,入手一体机,拿到电脑后安装sass和compass却总是报一大串错误,既是MAC小白,也是英语小白,这点问题着实难为了我,在一番研究后,把自己总结的...
  • jiyiwohanxing
  • jiyiwohanxing
  • 2015年01月05日 13:17
  • 3936
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:在Centos下hadoop native-library错误
举报原因:
原因补充:

(最多只允许输入30个字)