【hadoop】完全分布式集群部署

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

完全分布式模式：是多台服务器组成的分布式环境，安全系数比较高。当企业在工作时，数据的安全是非常重要的，当我们一个主机出现故障的时候，如果我们使用的是伪分布，这种是单机运行的，出现故障也容易造成不可挽回的损失。但是完全分布式就能够解决这个问题，它最少有三个主机，当主节点出现宕机的时候，从节点就会补上。

---

一、准备好三台虚拟机

1.创建虚拟机

可以参考此文档，创建虚拟机，里面有详细的教程。

创建虚拟机详细教程：http://www.360doc.com/content/22/0622/09/74713971_1037051336.shtml

此链接可以下载centos镜像：http://mirrors.aliyun.com/centos/7/isos/x86_64/

---

2.配置网卡

1.通过cmd,输入ipconfig查看ip地址

2.使用vi /etc/sysconfig/network-scripts/ifcfg-ens33这个命令，进行编辑

3.重启网卡systemctl restart network

3.配置JDK和HADOOP

1、可以先连接远程工具如MobaXterm、Xshell

连接远程工具MobaXterm详细可以看此连接：https://blog.csdn.net/Nurbiya_K/article/details/100146457?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168743815016800182770111%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=168743815016800182770111&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-1-100146457-null-null.142^v88control_2,239^v2insert_chatgpt&utm_term=hadoop%E8%BF%9E%E6%8E%A5%E8%BF%9C%E7%A8%8B%E5%B7%A5%E5%85%B7MobaXterm&spm=1018.2226.3001.4187

连接远程工具Xshell详细可以看此连接：
https://blog.csdn.net/feizuiku0116/article/details/120688891?ops_request_misc=&request_id=&biz_id=102&utm_term=hadoop%E8%BF%9E%E6%8E%A5%E8%BF%9C%E7%A8%8B%E5%B7%A5%E5%85%B7&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-120688891.142^v88control_2,239^v2insert_chatgpt&spm=1018.2226.3001.4187

2、将jdk和hadoop解压到/usr/local/路径下
我们采用1.8版本的jdk

可以在这个网址里挑选合适的jdk: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

本篇博客使用的hadoop是2.7.1版本的

此地址可以找到选择合适的版本： https://www.apache.org/dyn/closer.cgi#

使用代码tar -xzvf (被解压的压缩包所在的路径) -C (解压后的储存路径)

3.配置HADOOP_HOME
通过vi /etc/profile将入配置全局变量
如图：

使用source /etc/profile