二、Hadoop完全分布部署

集群配置

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

一、核心配置文件

配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）

1、Linux系统中获取JDK的安装路径：

[soft863@ hadoop100 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_212

2、在hadoop-env.sh文件中修改JAVA_HOME 路径：

export JAVA_HOME=/opt/module/jdk1.8.0_212

二、配置 core-site.xml

命令：cd /etc/hadoop

           vim core-site.xml

文件内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop100:9820</value>

</property>

<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->

    <property>

        <name>hadoop.data.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

</configuration>

        三、HDFS配置文件

                配置 hdfs-site.xml

        文件内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <!-- namenode数据存放位置 -->

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file://${hadoop.data.dir}/name</value>

  </property>

  <!-- datanode数据存放位置 -->

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file://${hadoop.data.dir}/data</value>

  </property>

  <!-- secondary namenode数据存放位置 -->

    <property>

    <name>dfs.namenode.checkpoint.dir</name>

    <value>file://${hadoop.data.dir}/namesecondary</value>

  </property>

  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->

  <property>

    <name>dfs.client.datanode-restart.timeout</name>

    <value>30</value>

  </property>

  <!-- 设置web端访问namenode的地址 -->

<property>

    <name>dfs.namenode.http-address</name>

    <value>hadoop100:9870</value>

</property>

  <!-- 设置web端访问secondary namenode的地址 -->

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoop102:9868</value>

  </property>

</configuration>

        四、MapReduce配置文件

                配置mapred-site.xml

        命令vi mapred-site.xml

文件内容：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

</configuration>

        五、集群分发

把module目录拷贝到hadoop101：

[root@hadoop100 etc]# scp -r ./hadoop/ hadoop101:/opt/moudle/hadoop-3.1.3/etc/

Scp -r 100中要复制过去的文件 主机名：要复制到的文件位置

把module目录拷贝到hadoop101：

[root@hadoop102 opt]# rsync -av module hadoop101:/opt/

把 /etc/profile拷贝到hadoop100 hadoop101

[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc

[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc

在hadoop100和hadoop101上分别要进行source /etc/profile

[root@hadoop100 opt]# source /etc/profile

[root@hadoop101 opt]# source /etc/profile

        六、分布式集群格式化

分布式集群第一次启动之前要格式化

格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3

[root@hadoop101 opt]# rm -rf data

[root@hadoop101 opt]# rm -rf logs

在指定namenode运行的服务器上执行格式化：

（namenode指定在hadoop100上运行的）

[root@hadoop100 hadoop-3.1.3]# hdfs namenode -format

        七、集群单点启动

Hadoop100：

hdfs --daemon start namenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop101：

yarn --daemon start resourcemanager

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop102：

hdfs --daemon start secondarynamenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

（1）启动hdfs相关

hdfs --daemon start namenode

hdfs --daemon start datanode

（2）启动yarn相关

yarn --daemon start resourcemanager

yarn --daemon start nodemanager

        八、启动停止集群

启动集群：

如果集群上已经启动hadoop相关程序，可以先执行停止。

在hadoop100上执行以下脚本，用来启动hdfs：

命令： start-dfs.sh

在hadoop101上执行以下脚本，用来启动yarn：

命令： start-yarn.sh

停止集群：

如果集群上已经启动hadoop相关程序，可以先执行停止。

在hadoop100上执行以下脚本，用来停止hdfs：

命令： stop-dfs.sh

在hadoop101上执行以下脚本，用来停止yarn：

          命令：stop-yarn.sh