创建虚拟机，搭建hadoop集群（一台主机两台从机）

创建虚拟机，搭建hadoop集群（一台主机两台从机）

1.在VMware Workstation Pro里创建一台虚拟机，经过一些简单的虚拟机配置，对CentOS系统进行安装，一开始选择语言，软件以及分区（不进行任何设置），加装桌面、系统管理工具，方便集群可视化，设置密码，完成后进行安装：

2.接受协议，重启系统

3.设置密码：********* 普通用户：lindff

4.重启后，需要选择本机语言，地区时间等等，完成设置后，虚拟机搭建完成。打开命令窗口。进行基础的配置，使用命令修改内容都是在root用户下进行。

5.使用下面命令给普通用户授予root权限

sudo vi /etc/sudoers

命令后添加：

sudo vi /etc/hostname

修改主机用户名为master

5.关闭防火墙

systemctl stop firewalld.service    #停止防火墙
systemctl disable firewalld.service   #禁止防火墙在开机时启动
systemctl status firewalls   #查看防火墙状态
vi /etc/selinux/config    #关闭selinux

修改配置

完成上述几步，重启虚拟机。

reboot

6.修改ip等：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在其中修改为并添加红框中的状态：

使用下面命令重启网络，使用ifconfig检查ip是否运行

6.添加各节点的映射

7.安装java，由于CentOS7自带jdk，需要先删掉存在的，安装自己的。使用rpm -qa|grep jdk 命令查看java，并使用 rpm -e --nodes java-包 命令删除。

使用Xftp6上传jdk-8u261-linux-x64.tar.gz，使用tar -zxvf jdk-8u191-linux-x64.tar.gz 安装jdk，安装完之后将文件名改为java：mv jdk1.8.0_261 java。

8配置环境变量：.vim /etc/profile
为了使修改后的环境变量生效，使用命令：source /etc/profile

使用Java -version或javac 检查：

8.安装hadoop并进行配置

core-site.xml:

Hdfs-site.xml

Yarn-site.xml:

Slaves:

9.修改yarn-env.sh

10.完成后进行虚拟机的克隆：

再打开克隆页面选择“创建完整克隆”，分别创建两台虚拟机slave1,slave2
11.配置节点间的ssh免密登录

执行后直接点确定，不需要任何修改
之后使用ssh-copy-id + 节点名称 ，将密钥拷贝到三个节点

12.测试集群是否成功搭建
先执行namenode的格式化：

启动集群：start-all.sh

网站查看：