hadoop native lib install

原创 2015年07月10日 11:14:07

系统环境CentOS 6.5 final

hadoop 版本 CDH5.3.3

hadoop checknative -a 

[root@pmaster2 ~]# hadoop checknative -a
15/07/10 11:16:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Native library checking:
hadoop:  false
zlib:    false
snappy:  false
lz4:     false
bzip2:   false
openssl: false
15/07/10 11:16:10 INFO util.ExitUtil: Exiting with status 1  


基本步骤:1、下载jdk1.7并安装

2、下载maven:maven.apache.org 并安装

3、安装protocol buffers(protobuf-2.5.0.tar.gz)

注意:需提前安装以下工具:

1)yum install gcc

2)yum install gcc-c++

3)yum install make

然后执行以下命令解压缩protobuf

tar -zxvf protobuf-2.5.0.tar.gz

会生成一个文件夹protobuf-2.5.0,执行以下命令编译protobuf。

#cd protobuf-2.5.0
#./configure --prefix=/usr/local/protoc/#make && make install

只要不出错就可以了。执行完毕后,编译后的文件位于/usr/local/protoc/目录下,我们设置一下环境变量

通过 protoc --version 验证是否成功

4、安装其它依赖

yum install cmake
yum install openssl-devel

yum install ncurses-devel

5、编译原码
执行以下命令解压缩
jdk
tar -zxvf hadoop-2.6.0-src.tar.gz
现在进入到目录/usr/local/hadoop-2.6.0-src中,执行命令mvn package -DskipTests -Pdist,native 


编译后的代码在/usr/local/hadoop-2.6.0-src/hadoop-dist/target下面的hadoop-2.6.0 







cdh5.7.1默认安装无法装载native lib的问题解决(cdh5.5.x好像也有这个问题)

用CDH5.7.1新装一个测试集群发现执行mapreduce时候无法装载native lib: WARN [main] org.apache.hadoop.util.NativeCodeLoader:...
  • xiao_jun_0820
  • xiao_jun_0820
  • 2016年10月30日 16:00
  • 711

hadoop 64 native库问题解决方式

需要的环境 Unix JDK 1.6+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffe...
  • chuanzhongdu1
  • chuanzhongdu1
  • 2014年12月29日 20:08
  • 1560

Hadoop的本地库(Native Libraries)介绍

Hadoop的本地库(Native Libraries)介绍 http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html ...
  • whbo111
  • whbo111
  • 2015年05月13日 15:31
  • 1236

mac下hadoop 2.6.0编译native library

一、为什么要编译native librarymac单机模式安装Hadoop后启动,报错:WARN util.NativeCodeLoader: Unable to load native-hadoop...
  • tterminator
  • tterminator
  • 2016年06月28日 23:48
  • 4052

Hadoop2.7.3 安装

hadoop2.7.3
  • hanl13
  • hanl13
  • 2016年11月11日 11:30
  • 906

搭建Hadoop遇见问题集合

在使用./sbin/start-dfs.sh或./sbin/start-all.sh启动时会报出这样如下警告: Java HotSpot(TM) 64-Bit Server VM warning: Y...
  • zxae86
  • zxae86
  • 2015年05月22日 23:52
  • 1159

自己动手一步一步安装hadoop(含编译hadoop的native本地包)

最近项目需要用到hadoop,自己动手一步一步安装hadoop
  • zhulin40
  • zhulin40
  • 2014年07月30日 21:12
  • 3777

Hadoop-2.2.0在Windows环境下Native Lib的问题

在Windws下的Eclipse开发Hadoop程序,运行后总会在控制台输出以下异常: 2014-01-09 10:10:14,953 WARN  util.NativeCodeLoader (Na...
  • u013281331
  • u013281331
  • 2014年01月09日 10:53
  • 5921

Windows xp 环境下通过MyEclipse运行hadoop map reduce程序

Windows xp 环境下通过MyEclipse运行hadoop map reduce程序
  • wangmuming
  • wangmuming
  • 2014年04月16日 19:35
  • 1783

hadoop本地库与系统版本不一致

hadoop本地库与系统版本不一致引起的错误解决方法 (suse11上部署hadoop2.6遇到的问题,网上搜的资料,待验证) 集群中设置支持gzip lzo压缩后...
  • liws2010
  • liws2010
  • 2015年05月13日 21:17
  • 4634
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop native lib install
举报原因:
原因补充:

(最多只允许输入30个字)