Hadoop完全分布式环境搭建

1、Hadoop完全分布式运行模式

配置步骤

1. 准备3台客户机（关闭防火墙、静态ip、主机名称、host）
2. 安装JDK
3. 安装Hadoop
4. 配置环境变量
5. 配置集群
6. 配置ssh
7. 集群启动

2、 第一台主机准备

2.1 安装centos

参考centos安装

2.2 基础配置

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

静态ip设置

修改文件（/etc/sysconfig/network-scripts/ifcfg-ens33）

IPADDR=192.168.31.150
NETMASK=255.255.255.0
GATEWAY=192.168.31.1

主机名称设置

修改文件（/etc/hostname），重启系统

hadoop150

修改host

修改文件（/etc/hosts）

192.168.31.150 hadoop150
192.168.31.151 hadoop151
192.168.31.152 hadoop152

2.3 Hadoop环境准备

2.3.1 下载

jdk8下载：https://www.oracle.com/java/technologies/javase-jdk8-downloads.html#license-lightbox

Hadoop2.10.0下载：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

2.3.2 配置环境变量

解压

cd /opt
mkdir module
cd module
上传下载文件到此路径
tar -zxf jdk-8u241-linux-x64.tar.gz
tar -zxf hadoop-2.10.0.tar.gz

配置环境变量（/etc/profile），文件中追加下面内容

## JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin

## HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.10.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置文件生效

source /etc/profile

验证

java -version
hadoop

3、主机克隆

3.1 第一台主机完整克隆

菜单：选中主机->右键->管理->克隆

注意：选择完整克隆

3.2 IP配置

修改文件（/etc/sysconfig/network-scripts/ifcfg-ens33）

IPADDR=192.168.31.151
NETMASK=255.255.255.0
GATEWAY=192.168.31.1

3.2 修改主机名称

修改文件（/etc/hostname）

hadoop151

3.3 格式化NameNode

先停止进程，再删除hadoop目录下logs和data目录

hadoop namenode -format

4、配置集群

	hadoop150	hadoop151	hadoop152
HDFS	NameNode、DataNode	DataNode	DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

配置文件路径：/opt/module/hadoop-2.10.0/etc/hadoop

4.1 env配置修改

修改hadoop-env.sh、yarn-env.sh、mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_241

4.2 配置文件修改

core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS