Centos7上搭建hadoop2.7.3分布式集群环境实验记录

              Centos7上搭建hadoop2.7分布式集群环境实验记录

1.准备三台虚拟机。

2.修改三台虚拟机的主机名分别为master,slave01,slave02,然后修改每台机器的/etc/hosts
文件，清空原来的内容，添加如下内容：

172.16.136.227  master

172.16.136.229 slave01

172.16.136.228 slave02

 

3.配置ssh免密登陆和访问集群机器

 (1)所有机器上安装ssh服务器

yum -y install openssh-server

 (2)生成公钥

ssh-keygen -t rsa -P ""

cat $HOME/.ssh/id_rsa.pub >>$HOME/.ssh/authorized_keys

(3)发送公钥

scp ~/.ssh/id_rsa.pub root@slave01:/home/

scp ~/.ssh/id_rsa.pub root@slave02:/home/

（4）在slave01和slave02上执行如下命令。

cat /home/id_rsa.pub >>~/.ssh/authorized_keys

(注，若在这一步时提示不存在.ssh目录，就自己在根目录下创建一个.ssh目录：mkdir .ssh)

(5)测试

ssh  slave01

 

4.安装jdk(所有机器都要装，本实验装的是1.7，如果接下来你还要装spark的话，请装jdk1.8,不然可能会出现兼容性的问题)

（1）在/usr/目录下创建java目录

mkdir /usr/java

cd /usr/java

（2）把下载好的安装目录上传到这个目录下，然后安装，

tar -zxvf jdk-7u79-linux-x64.tar.gz

(3)设置环境变量

 vim ~/.bashrc

export JAVA_HOME=/usr/java/jdk1.7.0_79

 

 vim /etc/profile

在profile中添加如下内容:

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_79

JRE_HOME