Hadoop完全分布

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

（2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

（1）核心配置文件
配置：hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）
Linux系统中获取JDK的安装路径：
[soft863@ hadoop100 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_212
在hadoop-env.sh文件中修改JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk1.8.0_212
配置core-site.xml
cd $HADOOP_HOME/etc/hadoop
vim core-site.xml
文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
 <value>hdfs://hadoop100:9820</value>
</property>
<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
</configuration>
	（2）HDFS配置文件
配置hdfs-site.xml
vim hdfs-site.xml
文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- namenode数据存放位置 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>
 <!-- datanode数据存放位置 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>
<!-- secondary namenode数据存放位置 -->
    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>
<!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->
  <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30</value>
  </property>
<!-- 设置web端访问namenode的地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop100:9870</value>
</property>
<!-- 设置web端访问secondary namenode的地址 -->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop102:9868</value>
  </property>
</configuration>
（3）YARN配置文件
配置yarn-site.xml
vim yarn-site.xml
文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>
（4）MapReduce配置文件
配置mapred-site.xml
vim mapred-site.xml
文件内容如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

集群分发

把module目录拷贝到hadoop100：

[root@hadoop102 opt]# cd /opt

[root@hadoop102 opt]# scp -r module/ hadoop100:/opt/

把module目录拷贝到hadoop101：

[root@hadoop102 opt]# rsync -av module hadoop101:/opt/

把 /etc/profile拷贝到hadoop100 hadoop101

[root@hadoop102 opt]# rsync -av /etc/profile hadoop101:/etc

[root@hadoop102 opt]# rsync -av /etc/profile hadoop100:/etc

在hadoop100和hadoop101上分别要进行source /etc/profile

[root@hadoop100 opt]# source /etc/profile

[root@hadoop101 opt]# source /etc/profile

分布式集群格式化

分布式集群第一次启动之前要格式化

格式化之前，要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉

[root@hadoop101 opt]# cd /opt/module/hadoop-3.1.3

[root@hadoop101 opt]# rm -rf data

[root@hadoop101 opt]# rm -rf logs

在指定namenode运行的服务器上执行格式化：

（namenode指定在hadoop100上运行的）

[root@hadoop100 hadoop-3.1.3]# hdfs namenode -format

 一、启动4个进程

1、namenode

2、datanode

1、2使用hdfs启动 代码：

hdfs  --daemon  start  namenode/datenode

3、resourcemanager

4、nodemanager

3、4使用yarn启动 代码：

yarn  --daemon  start  resourcemanager/nodemanager

二、浏览器登录

http://自己ip地址(192.108.1.100):8088

http://自己ip地址(192.108.1.100):9870

(不通的两个原因：1、查看配置；2、关闭防火墙)