安装部署Hadoop完全分布式集群（三个节点）超详细

已知：本机IP地址为：192.168.43.49，则为虚拟机配置ip地址，其最后一位分别为：

hadoopslave01:52

hadoopslave02:51

hadoopmaster:50

1、关闭防火墙：chkconfig iptables off（三台虚拟机都关闭防火墙）

2、配置IP（三台虚拟机都需要配置IP）

cd /etc/sysconfig/network-scripts/

vi ifcfg-eth0(进入编辑）

或者输入sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0。

3、service network restart（重启）

ping 192.168.43.52,ping通即可。

4、更改主机名：hostname（三台虚拟机都需更改）

vi /etc/sysconfig/network

5、编辑主机：vi /etc/hosts

6、新建用户：hadoop

密码设置：password hadoop

（如果有hadoop的就不需要新建）

7、配置免密钥：

输入：ssh-keygen -t rsa

进入cd .ssh/目录：

8、远程复制：scp ~/.ssh/authorized_keys hadoop@192.168.0.114:~/.ssh/

9、验证免密登录是否成功：ssh hadoopslave02

以上是准备阶段，接下来进入关键步骤：

第一步：虚拟机HadoopMaster， HadoopSlave01， HadoopSlave02，都要上传包：

上传jdk，hadoop的 gz包到HadoopMaster的虚拟机里。

之后解压，配置jdk，和Hadoop的环境变量：

远程复制也需要检查包是否丢失

第二步：配置环境：

vim ~/.bash_profile

备用复制的路径：/home/hadoop/softwarejdk1.8.0_171

vim里的内容：

添加：

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171

export PATH=$JAVA_HOME/bin:$JAVA_HOME/sbin:$PATH

sourse，生效：

source ~/.bash_profile

第三步：java -version

名为hadoopslave01的虚拟机：

这样即可。

名为hadoopmaster的虚拟机：

（注意：三台都要安装和配置jdk的环境）

第四步：配置hadoop：

创建hadooptmp。三台都有，这个目录。

开始：

[root@hadoopmaster hadoop-3.3.0]# cd etc/hadoop/

进入此目录，编写:

1、 vim hadoop-env.sh

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171/

2、 vim core-site.xml 

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://HadoopMaster:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/software/hadooptmp</value>

</property>

</configuration>

3、vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

4、vim mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、vim  yarn-site.xml

<?xml version="1.0"?>

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>HadoopMaster:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>HadoopMaster:18030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>HadoopMaster:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>HadoopMaster:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>HadoopMaster:8088</value>

</property>

</configuration>

6.yarn-env.sh

在文件的靠前的部分找到下面的一行代码：

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/

将这行代码修改为下面的代码（将#号去掉）：

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_171

然后保存文件。

7、将以下编辑入内（vim workers）：

HadoopSlave01

HadoopSlave02

8、复制到从节点

使用下面的命令将已经配置完成的 HadoopMaster目录复制到从节点 HadoopSlave01和 HadoopSlave01上：

[root@hadoopmaster software]# scp -r hadoop-3.3.0 hadoop@HadoopSlave02:/home/hadoop/software/

9、接着，配置hadoop环境变量，3台都要进行配置：

vim ~/.bash_profile

内容：export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0 

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

然后执行命令：

source ~/.bash_profile

10、格式化NameNode文件系统

格式化命令如下，该操作需要在 HadoopMaster 节点上执行：

hdfs namenode -format

11、在主机输入：start-all.sh

12、在HadoopSlave01中输入jps

13、在HadoopSlave01中输入jps

14、在浏览器上输入192.168.43.50:9870，即可。

15、在浏览器上输入192.168.43.50:8088，即可。