CentOS7搭建hadoop集群详细步骤

一、准备阶段：

1. 准备一台服务器作为原始机：配置例如内存4G、硬盘50G；
2. 安装一些必要软件（服务器需联网）：

yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

3. 关闭防火墙并且设置开机自启

systemctl stop firewalld
systemctl disable firewalld

4. 创建用户、设置密码并设置其拥有root权限，例：

adduser wyq
passwd wyq
123456
#（不用在意提示）
123456
vim /etc/sudoers
#找到root  ALL=(ALL)     ALL这一行，输入i进入编辑模式，另起一行输入
wyq   ALL=(ALL)     ALL
#然后按Esc键退出编辑模式，进入一般模式，再输入 :wq 保存退出

5. 在/opt下创建两个文件目录：software和module

mkdir /opt/software
mkdir /opt/module

6. 设置其所有者和所属组为wyq

chown wyq:wyq /opt/software
chown wyq:wyq /opt/module

7. 卸载虚拟机自带的open JDK（如果是新创建的就不用执行此步骤）

rmp -qa | grep -i java | xargs -nl rpm -e --nodeps

8. 关机

shutdown -h now

二、集群搭建（本地模式）

1. 从原始机克隆出需要数量的服务器，例如3台Hadoop101,Hadoop102,Hadoop103
2. 修改这三台服务器的主机名,例如第一台:

vim /etc/hostname

3. 修改其ip地址，并将其设定为静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33
#将BOOTPROTO设置为
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.你的网段.101
GATEWAY=192.168.你的网段.2
DNS1=192.168.你的网段.2

#网段和下方虚拟机的虚拟网卡的第三位是一样的

4. 配置linux克隆机主机名称映射hosts文件

vim /etc/hosts
#向其中添加
192.168.网段.101 Hadoop101
192.168.网段.102 Hadoop102
192.168.网段.103 Hadoop103
....

5. 重启服务器

reboot

6. 登录自己创建的用户，并在Hadoop101中安装JDK和Hadoop

6.1、使用远程连接工具例如Finalshell将JDK和Hadoop上传到Linux的/opt/software下
	 这里上传的是JDK1.8和hadoop3.1.3
6.2、解压JDK、hadoop到module中

tar -zxvf /opt/software/jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/

6.3、配置环境变量

sudo vim /etc/profile.d/my_env.sh

#内容为：
#JAVA_HOME
export  JAVA_HOME=/opt/module/jdk1.8.0_212
export  PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export  HADOOP_HOME=/opt/module/hadoop-3.1.3
export  PATH=$PATH:$HADOOP_HOME/bin
export  PATH=$PATH:$HADOOP_HOME/sbin

6.4、让环境变量生效

source /etc/profile

6.5、测试是否安装完成

java -version

hadoop version

三、完全分布式集群

1. 编写分发脚本
   在本地模式的基础上继续搭集群，在hadoop101的/home/wyq上编写一个集体分发脚本xsync

vim /home/wyq/xsync

#!/bin/bash
#1.判断参数是否为空
if [ $# -le 0 ]
then
  echo Not Enough Arguement!
exit; 
fi
#遍历所有服务器
for host in Hadoop101 Hadoop101 Hadoop102
 do
  echo ==============