Hadoop集群搭建(模板机配置，配置文件配置，群发脚本，免密登录)

Hadoop集群运行环境搭建

前言

a.本文的目的是搭建一个由三台Linux虚拟机组成的hadoop集群

b.本文搭建hadoop集群的前提有：
	1.安装有VMware Workstation虚拟系统
    2.安装有CentOS的Linux系统
    
c.本文需要用到的软件包在末尾百度云链接
	1.CentOS镜像(CentOS-7.5-x86_64-DVD-1804)
	2.hadoop(hadoop-3.1.3.tar)
	3.jdk(jdk-8u212-linux-x64.tar)

思路

第一步：配置好一台Linux机子作为模板机 hadoop102
第二步：克隆出来另外两台Linux机子 hadoop103 hadoop103
第三步：将 hadoop103 hadoop103的配置稍加修改

一、 模板机hadoop102配置

模板机需要的配置(简略)

	1.ip地址及相关配置
		vim /etc/sysconfig/network-scripts/ifcfg-ens33
	2.修改主机名
		vim /etc/hostname
	3.修改Linux的hosts文件
		vim /etc/hosts
	4.修改windows的hosts文件
		C:\Windows\System32\drivers\etc
	5.关闭防火墙
		sudo systemctl stop firewalld
		sudo systemctl disable firewalld
	6.创建atguigu用户
		sudo useradd atguigu
		sudo passwd atguigu
	7.升级atguigu的权限
		sudo vim /etc/sudoers
	8.创建module/software文件夹
		cd /opt
		sudo mkdir module
		sudo mkdir software
	9.修改文件夹所属
		sudo mkdir /opt/module /opt/software
		sudo chown atguigu:atguigu /opt/module /opt/software
	10.安装JDK
		上传到software > 解压到moudule > 配置环境变量 > 测试
	11.安装Hadoop
		上传到software > 解压到moudule > 配置环境变量 > 重启 > 测试

模板机需要的配置(详细)

1.ip地址及相关配置

	命令：sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"

#修改点=====================================#
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不 使用协议|静态分配IP|BOOTP协议|DHCP协议）

DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）

#修改点=====================================#
#IP地址
IPADDR=192.168.1.102  # 1 为端口号
#网关  
GATEWAY=192.168.1.2      
#域名解析器
DNS1=192.168.1.2

2.修改主机名

	命令：sudo vim /etc/hostname

hadoop102

3.修改Linux的hosts文件

	命令：sudo vim /etc/hosts

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

4.修改windows的hosts文件

	文件地址：C:\Windows\System32\drivers\etc

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

5.关闭防火墙

1.关闭防火墙运行
	命令： sudo systemctl stop firewalld
2.关闭防火墙自启动
	命令：sudo systemctl disable firewalld

6.创建atguigu用户

1.设置用户
	sudo useradd atguigu
2.设置密码
	sudo passwd atguigu

7.升级atguigu用户的权限

	命令：sudo vim /etc/sudoers

修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行
	## Allow root to run any commands anywhere
    root    ALL=(ALL)     ALL
    atguigu   ALL=(ALL)  NOPASSWD:ALL

8.创建module/software文件夹

1.进入opt文件夹
	命令：cd /opt
2.创建文件夹module
	命令：sudo mkdir module
3.创建文件夹sofware
	命令：sudo mkdir software

9.修改文件夹所属

	命令：sudo chown atguigu:atguigu /opt/module /opt/software

10.安装JDK

1.将JDK上传到Linux的/opt/software目录下

2.解压JDK到/opt/module目录下
	命令：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
3.配置环境变量
	新建my_env.sh文件
		sudo vim /etc/profile.d/my_env.sh
	添加内容
        #JAVA_HOME
		export JAVA_HOME=/opt/module/jdk1.8.0_212
		export PATH=$PATH:$JAVA_HOME/bin
4.测试
	命令：java -version

11.安装Hadoop

1.将hadoop安装包上传到/opt/software目录下 

2.解压安装文件到/opt/module下面
	tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
3.将Hadoop添加到环境变量
	打开my_env.sh文件
		sudo vim /etc/profile.d/my_env.sh
	添加内容
        #HADOOP_HOME
        export HADOOP_HOME=/opt/module/hadoop-3.1.3
        export PATH=$PATH:$HADOOP_HOME/bin
        export PATH=$PATH:$HADOOP_HOME/sbin
4.重启xshell窗口,让修改后的文件生效

5.测试
	命令：hadoop -version
	

模板机配置完成

二、克隆出hadoop103 hadoop104

1. 克隆配置好的模板机

| VMware Workstation主页 
|——左侧虚拟机列表
|————配置好的模板机 右键
|——————管理(M)
|————————克隆(C)

| 克隆虚拟机向导 
|——下一步
|————虚拟机中的当前状态
|——————创建完整克隆
|——————