Created Thursday 15 March 2018
源码编译hadoop的步骤在以下博客链接中:
http://blog.csdn.net/libingxin/article/details/51097071
编译hadoop需要的依赖可以查看BUILD.txt文件
1.安装putty需要先安装GTK库
2.在集群节点中,centos默认网卡的关闭的,需要
3.然后重启网卡 sudo service network restart
4.修改etc/sysconfiger下的hostname文件改主机名,然后重启
5.修改etc/hosts文件,把IP和主机名的映射写到这个文件,以后操作就不需要使用 ip进行链接了
6.centos默认是firewall防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
7.把文件上传到centos中
把本地的source.txt文件拷贝到192.168.0.10机器上的/home/work目录下
8.源码安装hadoop的要求
9.安装protobuf-2.5.0需要安装gcc
yum install gcc-c++
10.编译hadoop
# 在编译过程中为了防止Java内存溢出,需要加入以下环境变量
vi /etc/profile
export MAVEN_OPTS="-Xmx2048m -XX:MaxPermSize=512m"
source /etc/profile
编译hadoop:
cd hadoop-2.7.2-src/
mvn package -Pdist,native -DskipTests -Dtar
编译好后:
查看hadoop版本
cd /app/soft/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2/
bin/hadoop version
# 查看编译后的Hadoop适用于32位还是64位的系统
file lib//native/*