Hadoop完全分布式配置

1.虚拟机环境准备

1.1 克隆虚拟机

1.2. 修改克隆虚拟机的静态IP

机器名	静态IP
master	192.168.121.151
slaver1	192.168.121.152
slaver2	192.168.121.153

[root@master Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
#输入以下内容
DEVICE=eno16777736
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.121.151
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
DNS2=114.114.114.114

systemctl restart network
ping www.baidu.com
ping 本机ip

配置参数：

参数	含义
ONBOOT=yes	启动这块网卡
BOOTPROTO=static	使用静态路由协议，保持固定的IP
IPADDR	IP地址，这里的IP地址需要和规划的IP地址保持一致，为以后主机名和IP对应做准备
GATEWAY	虚拟网关，通常都是将IP地址最后一个数位变成2，这个设置和VMare中V8保持一致
NETMASK	子网掩码，通常是255.255.255.0
DNS1=8.8.8.8	域名解析器服务器，此处采用的是Google提供的免费的DNS服务器8.8.8.8，也可以使用自己的PC的域名机械其
DNS2=114.114.114.114	国内移动、电信和联通通用的DNS服务器
常用的DNS服务：
–	–
114.114.114.114	国内移动、电信和联通通用的DNS，手机和电脑端都可以使用，干净无广告，解析成功率相对来说更高，国内用户使用的比较多，而且速度相对快、稳定，是国内用户上网常用的DNS
8.8.8.8	GOOGLE公司提供的DNS，该地址是全球通用的，相对来说，更适合国外以及访问国外网站的用户使用
223.5.5.5、223.6.6.6	阿里DNS服务
180.76.76.76	百度DNS服务

1.3 修改主机名

[root@master Desktop]# hostnamectl set-hostname master

#该文件用来指定服务器上的网络配置信息
[root@master Desktop]# vi /etc/sysconfig/network
#修改内容如下
NETWORKING=yes
HOSTNAME=master
[root@master Desktop]# reboot

1.4 修改IP映射

# 主机名和IP配置文件
[root@master Desktop]# vi /etc/hosts
#添加 ip 名字
192.168.121.151 master
192.168.121.152 slaver1
192.168.121.153 slaver2

1.5 关闭防火墙和SELINUX

[root@master Desktop]# systemctl stop firewalld
[root@master Desktop]# systemctl disable firewalld
[root@master Desktop]# vi /etc/sysconfig/selinux 
#修改如下内容，需要重启生效
SELINUX=disabled

#查看状态
[root@master Desktop]# systemctl status firewalld
#输出
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)

Apr 17 17:36:55 master systemd[1]: Stopped firewalld - dynamic firewall daemon.
Hint: Some lines were ellipsized, use -l to show in full.
[root@master Desktop]# 
[root@master Desktop]# sestatus
#输出
SELinux status:                 disabled

1.6 在/目录下创建文件夹

在/目录下创建software,servers,data,conf文件夹

[root@master Desktop]# mkdir -p /export/software
[root@master Desktop]# mkdir -p /export/servers
[root@master Desktop]# mkdir -p /export/data
[root@master Desktop]# mkdir -p /export/conf
#确认文件夹创建成功
[root@master Desktop]# ls -ll /export/
total 0
drwxr-xr-x 2 root root 6 Apr 17 17:46 conf
drwxr-xr-x 2 root root 6 Apr 17 17:45 data
drwxr-xr-x 2 root root 6 Apr 17 17:45 servers
drwxr-xr-x 2 root root 6 Apr 17 17:45 software

2 安装JDK

2.1 卸载现有JDK

（1）查询是否安装Java软件：

[root@master Desktop]# rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

[root@master Desktop]#  rpm -e --nodeps 软件包

（3）查看JDK安装路径：

[root@master Desktop]# which java
/usr/bin/which: no java in (/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/export/servers/jdk/bin:/export/servers/zookeeper/bin:/export/servers/hadoop/bin:/export/servers/hadoop/sbin:/root/bin:/export/servers/jdk/bin:/export/servers/zookeeper/bin:/export/servers/hadoop/bin:/export/servers/hadoop/sbin)

2.2 下载JDK

（1）下载JDK,从https://www.oracle.com官网上下载所需要的JDK
https://www.oracle.com/java/technologies/downloads/#java8
https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
（2）上传文件到/export/software

D:\Users\LENOVO\Desktop\开源大数据\software>scp jdk-8u311-linux-x64.tar.gz root@192.168.121.151:/export/software
root@192.168.121.151's password:
jdk-8u311-linux-x64.tar.gz                                                            100%  140MB  63.6MB/s   00:02

2.3 安装JDK

#解压
[root@master Desktop]# tar -xzvf /export/software/jdk-8u311-linux-x64.tar.gz -C /export/servers/
#确认文件夹存在
[root@master Desktop]# cd /export/servers/
[root@master servers]# ls -ll
total 4
drwxr-xr-x 8 10143 10143 4096 Sep 27  2021 jdk1.8.0_311
#创建软件链接
[root@master servers]# ln -s jdk1.8.0_311/ jdk
#确认软连接存在
[