Hadoop学习--搭建hadoop集群

目录

1.安装环境 

2.安装前准备

3.安装配置Hadoop

4.初始化及运行

---

1.安装环境 

本博客所安装的hadoop只有HDFS、YARN以及MapReduce组件，不包含Hadoop其他组件的安装。

1）准备4台虚拟机（CentOS 7），ip与主机名如下：

• 192.168.134.128 master
• 192.168.134.129 slave1
• 192.168.134.130 slave2
• 192.168.134.131 slave3

主机规划： 192.168.134.128做master，运行NameNode和ResourceManager进程。其他三台主机做slave，运行DataNode和NodeManager进程。

2）Java版本：jdk1.8.0_141

3）Hadoop版本：hadoop-2.9.2

2.安装前准备

第1、2步使用root用户执行，3、4步使用grid用户执行。

1）分别在4台机器上建立grid用户

#新建用户grid，主目录为/home/grid，如果该目录不存在则创建

useradd -d /home/grid

#将grid用户添加到root组

usermod -a -G root grid

2）分别在四台机器上的/etc/hosts/文件中添加如下内容，用做域名解析

192.168.134.128 master

192.168.134.129 slave1

192.168.134.130 slave2

192.168.134.131 slave3

3）分别在4台机器上安装java

tar -zxvf [java压缩包目录] -C [解压到的目标路径] 

4）配置ssh免密登陆

这里配置任意两台机器之间都可以免密登陆

①分别在4台机器上生成密钥对，注意这里需要在4台机器上都执行。

#进入grid用户的主目录

cd ~

#生成密钥对

ssh-keygen -t rsa

然后一路按回车键。

②在master上执行

#进入.ssh

cd ~/.ssh/

#把本机的公钥追加到自身的~/.ssh/authorized_keys文件里

ssh-copy-id master

#将authorized_keys文件复制到slave1主机

scp /home/grid/.ssh/authorized_keys slave1:/home/grid/.ssh/

③在slave1上执行

cd ~/.ssh/

ssh-copy-id slave1

scp /home/grid/.ssh/authorized_keys slave2:/home/grid/.ssh/

④在slave2上执行

cd ~/.ssh/

ssh-c