hadoop3.2.1+VMWare workstation15三节点完全分布式集群搭建

搭建hadoop集群（Linux）
1、 首先需要准备三台虚拟机
a) 虚拟机安装自己参考：https://www.cnblogs.com/tan-y-q/articles/10621158.html
b) 将安装好的虚拟机复制为三份，并分别命名为node01（masteer），node02（slave1），node02（slave2）。我这里是集中放到hadoop的目录下面

c) 分别进入到三个目录，用虚拟机打开下面这个文件

d) 将上一步打开的三个文件分别重命名为node01，node02，node03，并集中放到hadoop文件夹下面管理

e) 将每台虚拟机的内存设置为4G

f) 网络适配器这里选用nat模式（集群之间共享主机）

2、修改每一台虚拟机的ip地址
注意：如果是第一次安装好后操作虚拟机，需要进行一下操作
1、打开每一台虚拟机
2、选择我已复制该虚拟机
3、输入用户名root和对应的密码
1）使用如下命令获取当前虚拟机的IP地址
Ip addr

2）Mac地址

3）网关自己打开网路适配器查看
4）使用如下命令打开网络配置，进行参数配置（空色框内要修改）
Vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意：使用ping www.baidu.com查看自己每一台虚拟机的网络知否配置成功

g) 修改每一台虚拟机对应的主机名
Vim /etc/sysconfig/network

h)每一台虚拟机配置ip和域名映射
vim /etc/hosts

3、关闭防火墙
Service iptables stop 如果有相关命令没有安装会报错，请自行先安装想关命令
禁止防火墙开机自启
Chkconfig iptables off
4、 关闭selinux
Vim /etc/selinux/config

5、 配置虚拟机之间免密登录
1） 在三台主机分别输入命令产生公钥和私钥
Ssh-keygen –t rsa
注意：输入命令后会让你输入密码，每一次直接回车就可以了，通过日志文件，可以看到你公钥和私钥的存储位置
2） 将三台主机（node01，node02，node03）的公钥分别考到第一台主机（node01），我这里的master是node01
Ssh-copy-id node01
然后根据提示输入密码即可。然后就可以在 用户名/.ssh的目录才看到拷贝过来的authorized-keys
3） 将第一台主机的公钥（node01）拷贝到其余两台主机（node02，node03）
Scp /root/.ssh/authorized-keys node02:/root/.ssh
Scp /root/.ssh/authorized-keys node03:/root/.ssh

验证：在三主机随意输入 ssh+主机名，并且 不需要输入密码就可以跳转到新的主机，就表示免密登录设置成功
比如：ssh node02
4） 三台主机配置时间同步（三台主机都要进行如下操作）
a） 安装ntp

Yum install –y ntp

b） 启动定时任务
Crontab –e
c） 在输入界面键入

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com	

表示分一分钟从阿里云服务器更行一次时间
6、 安装jdk（三台虚拟机都要做）
1） 卸载centos自带的openjdk
使用rpm –qa|grep java查看是否有安装openjdk
如果有使用如下命令卸载所有的包
rpm –e 包名1,包名2,包名3
2） 创建安装目录
mkdir –p /export/softwares 压缩包存放的位置
mkdir –p /export/servers 压缩包解压后存放的位置
3） 在Windows环境下载好jdk-8u251-linux-x64.tar.gz包

4） 将Java压缩包复制到/export/softwares目录下
a） 安装lrzsz插件

Yum install –y lrzsz

b）复制
使用rz –E打开插件

5） 上传并解压到server
tar –xvf jdk-8u251-linux-x64.tar.gz –C …/servers/
6） 配置Java的环境变量
Vim /etc/profile

修改后使用如下命令是配置生效,Java环境就搭好了
Source /etc/profile
7、 安装hadoop（三台主机都要安装）
1） 上传hadoop压缩包。注意一定要使用tar.gz的压缩包。登录hadoop官网，选择download，我这里使用的是hadoop-3.2.1。选择binary。

2） 下载完成后同样进入到/export/softwares目录，并且使用rz -E复制压缩包

3） 下载好后将压缩包解压到/export/servers下
tar –xvf hadoop-3.2.1.tar.gz –C …/servers/
4） 配置hadoop文件
注意是第一台主机配置
a) Vim /export/servers/Hadoop-3.2.1/etc/Hadoop/core-site.xml

<!-- 指定集群文件系统的类型：分布式文件系统 -->
<property>
	<name>fs.default.name</name>
	<value>hdfs://192.168.111.132.9000</value>
</property>
<!-- 指定临时文件存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/servers/hadoop-3.2.1/hadoopDatas/tempDatas</value>
</property>
<!-- 缓冲区大小，实际工作中根据服务器性能动态调整 -->
<property>
	<name>io.file.buffer.size</name>
	<value>4096</value>
</property>
<!-- 开启HDFS垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
<property>
	<name>fs.trash.interval</name>
	<value>10080</value>
</property>

b) Vim /export/servers/Hadoop-3.2.1/etc/Hadoop/ hdfs -site.xml

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>192.168.111.132:50090</value>	
</property>
<!-- 指定namenode的访问地址和端口 -->
<property>
	<name>dfs.namenode.http-address</name>
	<value>192.168.111.132:50070</value>
</property>
<!-- 指定 元数据namenode存放的位置 -->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:///export/servers/hadoop-3.2.1/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-3.2.1/hadoopDatas/namenodeDatas2</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:///export/servers/hadoop-3.2.1/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-3.2.1/hadoopDatas/datanodeDatas2</value>
</property>
<!-- 日志文件 -->
<property>
	<name>dfs.namenode.edits.dir</name>
	<value>file:///export/servers/hadoop-3.2.1/hadoopDatas/nn/edits</value>
</property>
<property>
	<name>dfs.namenode.edits.dir</name>
	<value>file:///export/servers/hadoop-3.2.1/hadoopDatas/snn/name</value>
</property>
<property>
	<name>dfs.namenode.checkpoint.edits.dir</name>
	<value>file:///export/servers/hadoop-3.2.1/hadoopDatas/dfs/snn/edits</value>
</property>
<!-- 文件切片副本个数 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!-- 设置hdfs文件权限 -->
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
<property>
	<name>dfs.blocksize</name>
	<value>134217728</value>
</property>

c) Vim /export/servers/Hadoop-3.2.1/etc/Hadoop/ hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_251

d) Vim /export/servers/Hadoop-3.2.1/etc/Hadoop/ mapred-site.xml

<!-- 开启MapReduce小任务模式 -->
<property>
	<name>mapreduce.job.ubertask.enable</name>
	<value>true</value>
</property>
<!-- 设置历史任务主机和端口 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node01:10020</value>
</property>
<!-- 设置网页访问历史任务的主机和端口 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node01:19888</value>
</property>

e) Vim /export/servers/Hadoop-3.2.1/etc/Hadoop/ yarn-site.xml

<!-- 配置yarn主节点的位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node01</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 开启日志聚合功能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 日志在yarn上的保存时间 -->
<property>
	<name>yarn.log-aggregation.ratain-seconds</name>
	<value>604800</value>
</property>
<property>
	<name>yarn.nodemanager.resource.memory-mb</name>
	<value>20480</value>
</property>

f) Vim /export/servers/Hadoop-3.2.1/etc/Hadoop/ mapred-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_251
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

g) 在/export/servers/Hadoop-3.2.1/etc/Hadoop/目录下新建slaves.txt文件，并键入：

node01
node02
ndoe03

		保存
4）在第一台主机上执行以下命令常见文件夹
		mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/tempDatas

mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-3.2.1/hadoopDatas/dfs/snn/edits

5） 安装包分发
第一台主机执行以下操作
a）cd /export/servers
b）scp –r Hadoop-3.2.1 node02:$PWDc）scp–rHadoop-3.2.1node03:$PWD
6）配置hadoop环境变量（三台主机都要执行此操作）
Vim /etc/profile

使环境变量生效
Source /etc/profile
6） 启动集群
a） 格式化namenode
Cd /export/servers/Hadoop-3.2.1
bin/hdfs namenode –format
b） 启动dfs
sbin/start-dfs.sh
c） 启动yarn
sbin/start-yarn.sh
d） 启动jobhistory
sbin/mr-jobhistory-daemon.sh start historyserver
启动完毕后可以使用jps查看启动的资源

验证：
------------------集群启动成功后，可以通过浏览器访问主节点--------------
192.168.111.132:50070/explorer.html 查看hdfs集群（主节点）
192.168.111.132：8088/cluster 查看yarn集群
192.168.111.132:19888/jobhistory 查看历史完成任务