Hadoop环境搭建（5）--完全分布式搭建

1、核心文件配置

①从Linux系统中获取JDK的安装路径：

echo $JAVA_HOME

②配置hadoop-env.sh，命令：

cd /opt/module/hadoop-3.1.3/etc/hadoop/

vi hadoop-env.sh

将配置文件修改如图所示：

③配置core-site.xml，命令：

vi core-site.xml

在编辑面板中添加如下代码：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:9820</value>
</property>

<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
</configuration>

2、HDFS文件配置

①配置hdfs-site.xml，命令：

vi hdfs-site.xml

在编辑面板中添加如下代码：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <!-- namenode数据存放位置 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>

  <!-- datanode数据存放位置 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>

  <!-- secondary namenode数据存放位置 -->
    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>

  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->
  <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30</value>
  </property>

  <!-- 设置web端访问namenode的地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop100:9870</value>
</property>

  <!-- 设置web端访问secondary namenode的地址 -->
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop102:9868</value>
  </property>
</configuration>

3、YARN文件配置

①配置yarn-site.xml，命令：

vi yarn-site.xml

在编辑面板中添加如下代码：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    <property>
        <name>yarn.nodemanager  .env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

4、MapReduce文件配置

①配置mapred-site.xml，命令：

vi mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

到这里就完成了基本的配置，接下来去克隆虚拟机，因为我们是先配置集群，再克隆的虚拟机，所以我们克隆出来的Hadoop101、Hadoop102、都拥有这些配置，不用在进行集群分发，需要用的时候直接启动就OK

5、分布式集群格式化

①格式化之前要把要把三个服务器上的hadoop安装目录下的 data目录和logs目录都删掉，命令：

cd /opt/module/hadoop-3.1.3
切换到此目录下将data和logs文件删掉，
rm -rf data
rm -rf logs

②格式化namenode，因为namenode只在Hadoop100 上运行，所以只用在100上进行格式化就可以，命令：

hdfs namenode -format

6、启动集群（单起），命令

	hadoop100	hadoop101	hadoop102
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

Hadoop100：

hdfs --daemon start namenode
hdfs --daemon start datanode
yarn --daemon start nodemanager

Hadoop101：

yarn --daemon start resourcemanager
hdfs --daemon start datanode
yarn --daemon start nodemanager

Hadoop102：

hdfs --daemon start datanode
hdfs --daemon start secondarynamenode
yarn --daemon start nodemanager

（群起），命令

Hadoop100：

start-all.sh

Hadoop101：

start-yarn.sh

启动之后用jps查看是否启动成功，否则则去检查配置文件是否出现错误