Hadoop编译源码和windows环境准备

一、Hadoop编译源码

1、 CentOS联网
配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的
注意：采用root角色编译，减少文件夹权限出现问题
2.、jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)
（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）
3、配置环境变量
先配置jdk和maven，然后配置ant
maven配置文件要加镜像

<mirror>
	<id>nexus-aliyun</id>
	<mirrorOf>central</mirrorOf>
	<name>Nexus aliyun</name>
	<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

vi /etc/profile

export ANT_HOME=/usr/local/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin

source /etc/profile
验证命令：
ant -version

4、安装 glibc-headers 和 g++ 命令如下

yum install glibc-headers gcc-c++

5、安装make和cmake

yum install make cmake

6、解压protobuf ，进入到解压后protobuf主目录，然后相继执行命令

cd /usr/local/protobuf-2.5.0
./configure
make
make check
make install
ldconfig
vi /etc/profile

export LD_LIBRARY_PATH=/usr/local/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH

source /etc/profile
验证命令：
protoc --version

7、安装openssl库和ncurses-devel库

yum install openssl-devel ncurses-devel

到此，编译工具安装基本完成。
8、编译源码，解压源码到/usr/local目录并进入主目录，通过maven执行编译命令

cd /usr/local/hadoop-2.7.2-src
mvn package -Pdist,native -DskipTests -Dtar

等待时间30分钟左右，最终成功是全部SUCCESS。
成功的64位hadoop包在/usr/local/hadoop-2.7.2-src/hadoop-dist/target目录下。

二、windows环境准备

1、根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\hadoop-2.7.2）
2、配置 HADOOP_HOME 环境变量

3、配置Path环境变量

4、查看是否成功