Hadoop完全分布式搭建

集群配置

	hadoop100	hadoop101	hadoop102
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

一、核心配置文件

1.配置：hadoop-env.sh

Linux系统中获取JDK的安装路径：

[soft863@ hadoop100 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_212

在hadoop-env.sh文件中修改JAVA_HOME 路径：

（在第54行修改）

export JAVA_HOME=/opt/module/jdk1.8.0_212

2.配置core-site.xml

 cd /opt/module/hadoop-3.1.3/etc/hadoop

vi core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop100:9820</value>

</property>

<!-- hadoop.data.dir是自定义的变量，下面的配置文件会用到 -->

    <property>

        <name>hadoop.data.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

</configuration>

二、HDFS配置文件

配置hdfs-site.xml

vi hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <!-- namenode数据存放位置 -->

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file://${hadoop.data.dir}/name</value>

  </property>

  <!-- datanode数据存放位置 -->

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file://${hadoop.data.dir}/data</value>

  </property>

  <!-- secondary namenode数据存放位置 -->

    <property>

    <name>dfs.namenode.checkpoint.dir</name>

    <value>file://${hadoop.data.dir}/namesecondary</value>

  </property>

  <!-- datanode重启超时时间是30s，解决兼容性问题，跳过 -->

  <property>

    <name>dfs.client.datanode-restart.timeout</name>

    <value>30</value>

  </property>

  <!-- 设置web端访问namenode的地址 -->

<property>

    <name>dfs.namenode.http-address</name>

    <value>hadoop100:9870</value>

</property>

  <!-- 设置web端访问secondary namenode的地址 -->

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>hadoop102:9868</value>

  </property>

</configuration>

三、YARN配置文件

配置yarn-site.xml

vi yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop101</value>

    </property>

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

       <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

四、MapReduce配置文件

配置mapred-site.xml

vi mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

</configuration>

配置完成后，按照上面的表格进行启动

Hadoop100：

hdfs --daemon start namenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop101：

yarn --daemon start resourcemanager

hdfs --daemon start datanode

yarn --daemon start nodemanager

hadoop102：

hdfs --daemon start secondarynamenode

hdfs --daemon start datanode

yarn --daemon start nodemanager

1）启动hdfs相关

                hdfs --daemon start namenode

                hdfs --daemon start datanode

2）启动yarn相关

                yarn --daemon start resourcemanager

                yarn --daemon start nodemanager

启动完成后用 jps 进行查看进程