在CentOS-x86_64位机器下编译hadoop-2.6.0源码

** 环境:CentOS-x86_64位系统 hadoop版本:hadoop-2.6.0-src.tar.gz**

由于hadoop官网只提供32位版本,安装后会出现一个错误,在64系统上运行会出错:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

步骤如下 1.在Linux安装依赖软件: jdk-1.7和maven-3.3.3我是独立安装的 注意:如果用JDK1.8 编译会报错注释标签问题

yum install -y libprotobuf-dev protobuf-compiler cmake build-essential pkg-config libssl-dev zlib1g-dev llvm-gcc automake autoconf make

2.下载hadoop-2.6.0源码

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz

3.下载完成后解压

tar -zxvf hadoop-2.6.0-src.tar.gz

4.进去入解压后的文件目录,并编译

cd hadoop-2.6.0-src
mvn package -DskipTests -Pdist,native -Dtar

这一步比较耗时,大概需要15~30分钟。 正确执行的结果如下:

编译好的二进制文件包位于: hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0.tar.gz 其他版本编译大概相同 备注: 使用自行编译的Hadoop二进制包安装Hadoop时需要删除.bashrc文件与hadoop-env.sh文件中下面两行(默认不会有这两行,但是尝试解决报错时可能改写了)

export HADOOP_COMMON_LIB_NATIVE_DIR="~/hadoop/lib/"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=~/hadoop/lib/"

------- OK -------

成功编译后

出现的问题:

1.protobuf(2.3)版本过低 问题 需安装protobuf-2.5.0

2.tomcat6下载失败报错 tomcat6下载失败报错 手动下载apache-tomcat-6.0.41.tar.gz 放在hadoop-2.6.0-src/hadoop-common-project/hadoop-kms/downloads/ 目录下

3.同上面第二个问题

同上面问题

因为下载很慢或失败,还是需要手动下载apache-tomcat-6.0.41.tar.gz后放在 hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads/目录下

转载于:https://my.oschina.net/u/2337549/blog/715224

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值