源码编译hadoop遇到的几个问题

自己搭建集群遇到的几个问题

Created Thursday 15 March 2018

源码编译hadoop的步骤在以下博客链接中:

http://blog.csdn.net/libingxin/article/details/51097071

编译hadoop需要的依赖可以查看BUILD.txt文件

1.安装putty需要先安装GTK库

2.在集群节点中，centos默认网卡的关闭的，需要

vi /etc/sysconfig/network-scripts/ifcfg-ens33修改ONBOOT=no改为yes

3.然后重启网卡 sudo service network restart

4.修改etc/sysconfiger下的hostname文件改主机名,然后重启

5.修改etc/hosts文件,把IP和主机名的映射写到这个文件,以后操作就不需要使用 ip进行链接了

6.centos默认是firewall防火墙

查看firewall防火墙的状态: firewall-cmd --state
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

7.把文件上传到centos中

scp /home/work/source.txt work@192.168.0.10:/home/work/
把本地的source.txt文件拷贝到192.168.0.10机器上的/home/work目录下

8.源码安装hadoop的要求

9.安装protobuf-2.5.0需要安装gcc

yum install glibc-headers
yum install gcc-c++

10.编译hadoop
# 在编译过程中为了防止Java内存溢出，需要加入以下环境变量
vi /etc/profile
export MAVEN_OPTS="-Xmx2048m -XX:MaxPermSize=512m"
source /etc/profile

编译hadoop:
cd hadoop-2.7.2-src/
mvn package -Pdist,native -DskipTests -Dtar

编译好后:
查看hadoop版本
cd /app/soft/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2/
bin/hadoop version

# 查看编译后的Hadoop适用于32位还是64位的系统
file lib//native/*