hadoop3.3.0完全分布式安装

hadoop集群

1. 安装：

1.1 安装工具准备：

jdk_1.8（已经安装完毕）

hadoop_3.3.0 （压缩包）

虚拟机安装：vim （查看配置文件带有高亮）

yum install vim -y

1.2 集群规划：

	hadoop1	hadoop2	hadoop3
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

1.3 配置虚拟机

1. 修改虚拟机名（可自定义）：

vim /etc/hostname 

2. 配置/etc/hosts(配置虚拟机之间的映射文件)：

vim /etc/hosts

虚拟机配置完成（别忙着去克隆）

1.4 hadoop配置：

1. 上传压缩包：

可利用xshell，SecureCRT，FileZilla等工具上传。

2. 解压：

可以自由选择文件夹，有人习惯创建一个soft文件夹去安装软件，有人喜欢在opt中安装，看自己选择

 tar -zxvf hadoop-3.3.0.tar.gz 

我的安装目录：

3. 配置hadoop环境变量：

vim /etc/profile.d/my_env.sh

添加：(注意HADOOP_HOME后面跟的是自己的安装目录)

export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效环境变量：

source /etc/profile

4. 验证

hadoop

​ 弹出一堆信息则成功！

5. 创建hadoop备用文件夹：

根据自己的安装目录进行

mkdir /opt/hadoop/hadoop_data

mkdir /opt/hadoop/hadoop_data/tmp

mkdir /opt/hadoop/hadoop_data/var

mkdir /opt/hadoop/hadoop_data/dfs

mkdir /opt/hadoop/hadoop_data/dfs/name

mkdir /opt/hadoop/hadoop_data/dfs/data

6. 创建分发脚本

功能：进行文件的分发

位置：/root/bin

cd /root/bin

vim xsync

#!/bin/bash	
if [ $# -lt 1 ]
then 
	echo Not Enough Arguement!
	exit;
fi
#注意，如果你的主机名命名和我不一样，下面这三个更换成你自己的主机名
for host in hadoop1 hadoop2 hadoop3
do 
	echo =================  $host  =================  	
	for file in $@
	do
		if [ -e $file ]
			then
				pdir=$(cd -P $(dirname $file); pwd)
				fname=$(basename $file)
				ssh $host "mkdir -p $pdir"
				rsync -av $pdir/$fname $host:$pdir
			else
				echo $file does not exists!				
		fi
	done
done

7. 克隆虚拟机

根据自己的虚拟机所分配的地址，修改三台虚拟机的/etc/hosts中的ip地址，以及/etc/hostname中的主机名

8. 免密登录

ssh-keygen -t rsa

一直回车到结束

分发公钥：(hostname改为自己的主机命名)

ssh-copy-id hostname

三台虚拟机都分发。

1.5. hadoop环境配置

所有路径配置都得和自己虚拟机的一致

1. 配置jdk路径：

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

2. 修改hdfs-site.xml

cd $HADOOP_HOME/