Hadoop 64位编译

最新推荐文章于 2022-11-18 11:17:52 发布

uselym

最新推荐文章于 2022-11-18 11:17:52 发布

阅读量713

点赞数

分类专栏：分布式

本文链接：https://blog.csdn.net/uselym/article/details/40890085

版权

分布式专栏收录该内容

1 篇文章 0 订阅

订阅专栏

由于64位Ubuntu需要重新编译下载的Hadoop源码，把过程记录一下。

---------------------------------------------Hadoop编译及软件准备---------------------------------------

Hadoop src版本2.20，Ubuntu版本14.04。

所需下载软件及过程：

1、安装JDK

下载：http://www.oracle.com/technetwork/java/javase/downloads/index.html

解压至当前路径：tar -zxvf ****.tar.gz

配置环境变量：gedit /etc/profile

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_60
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

将安装的jdk加入java选单：

update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_60/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_60/bin/javac 300

update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/jdk1.7.0_60/bin/javah 300

update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1.7.0_60/bin/javap 300

update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.7.0_60/bin/jar 300

update-alternatives --config java

java -version查看版本

2、安装maven

sudo apt-get install maven

配置环境变量：

export M2_HOME=/usr/local/apache-maven-3.2.3
export M2=$M2_HOME/bin
export PATH=$M2:$PATH

3、安装ant

下载ant http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz

解压，配置环境变量：

export ANT_HOME=/usr/lib/apache-ant-1.9.4
export PATH=$PATH:$ANT_HOME/bin

4、安装下面软件

sudo apt-get install cmake lzo-devel zlib-devel g++ autoconf automake libtool ncurses-devel openssl-dev

5、安装protopofsudo wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gztar zxvf protobuf-2.5.0.tar.gz 然后进入protobuf-2.5.0文件夹，进行如下操作：

$ sudo ./configure
$ sudo make
$ sudo make check
$ sudo make install
$ sudo ldconfig

配置环境变量：

export LD_LIBRARY_PATH=~/usr/protobuf-2.5.0

6、编译Hadoop

进入Hadoop源码目录下，mvn package -Pdist,native -DskipTests -Dtar

遇到一个error，An Ant BuildException has occured，解决如下：

在hadoop-common-project/hadoop-auth/pom.xml中添加 + 号行
</dependency>
<dependency>
+ <groupId>org.mortbay.jetty</groupId>
+ <artifactId>jetty-util</artifactId>
+ <scope>test</scope>
+ </dependency>
+ <dependency>
+ <groupId>org.mortbay.jetty</groupId>
<artifactId>jetty</artifactId>
<scope>test</scope>
</dependency>

7、安装Eclipse：

解压 tar -zxvf eclipse-SDK-3.7.2-linux-gtk.tar.gz

移动到路径 sudo mv eclipse /usr/local/

启动eclipse /usr/local/eclipse/eclipse

附：创建桌面链接
$ sudo su
# vim /usr/share/applications/eclipse.desktop
写入以下内容
[Desktop Entry]
Name=Eclipse
Comment=Eclipse SDK
Encoding=UTF-8
Exec=/usr/local/eclipse/eclipse
Icon=/usr/local/eclipse/icon.xpm
Terminal=false
Type=Application
Categories=Application;Development;

8、安装配置SSH

-------------------------------------------Hadoop配置---------------------------------------------

由于2.2配置中出现些问题，使用1.2.1进行配置示例

如不进行编译，单纯运行，需要环境准备：

1、相应版本JDK 可选：Eclipse、Ant

JDK配置参见文首。由于使用英伟达TK1开发板为ARM架构，选择JDK ARM版，配置时遇到缺少libjli.so

解决方案：

ldd /usr/bin/java
cp /usr/lib/jvm/jdk1.7.0_60/jre/lib/arm/jli/libjli.so /lib

2、环境变量配置：sudo gedit /etc/profile

单机版：

修改conf文件夹下hadoop-env，设置到JDK路径

伪分布：