Hadoop2.完全分布式搭建

虚拟机版本： VM15
Linux系统： CentOS6.5
其它工具：Xshell  WinSCP  SecureCRT 8.5

---

关于 局域网配置 、主机名映射  、上网   、免密配置   、 jdk安装 、环境变量配置 ，参考下面这篇文章

https://blog.csdn.net/qq_15267341/article/details/89630802  

---

---

---

vi    /etc/profile   配置环境变量

---

export JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
export CLASSPATH=$JAVA_HOME$\lib:$CLASSPATH
export HADOOP_HOME=/usr/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME$/bin

 

 

---

---

vi  hdfs-site.xml

    <property>
       <name>dfs.replication</name>
       <value>2</value>
    </property>
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>hadoop003:50090</value>
    </property>
    <property>
       <name>dfs.namenode.secondary.https-address</name>
       <value>hadoop003:50091</value>
    </property>
    <property>
       <name>dfs.name.dir</name>
       <value>/home/hadoop/name</value>
    </property>

    <property>
       <name>dfs.data.dir</name>
       <value>/home/hadoop/data</value>
    </property>


    <property>
        <name>dfs.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>

---

vi core-site.xml

<configuration>

     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoop002:9000</value>
     </property>

</configuration>

---

 vi mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

---

vi yarn-site.xml

   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop002</value>
   </property>


   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

 

---

vi slaves

---

vi hadoop-env.sh   配置Hadoop的JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_211-amd64

 

---

scp -r  /usr/hadoop-2.7.6  root@hadoop003:/usr

    scp -r  /etc/profile  root@hodoop002:/etc/profile

    复制完，记得要  source /etc/profile

---

---

hdfs namenode -format    只格式化namenode所在节点，其它节点无需进行格式化操作

---

格式化后，无需将namenode所在节点中配置的data文件夹里的内容通过scp同步到其它节点，因为每一个datanode节点都通过配置知道namenode节点，因此就可以直接拿到namenode的元数据

---

之所以必须要格式化namenode主要是通过格式化产生元数据，比如clusterID   blockpoolID

---

生产环境下千万不要轻易进行格式化namenode节点，否则你在hdfs上保存的数据就很难找到了，如果你真的想格式化namenode，重头再来，从零开始，此时各datanode保存的数据也没有保存必要，直接删除，具体按照下面截图操作

 

---

start-dfs.sh    启动HDFS

start-yarn.sh  启动Yarn

或者直接使用 start-all.sh   这个命令 等于上面两个命令

---

stop-dfs.sh   停止HDFS

stop-yarn.sh

stop-all.sh

---

 

 

FR:徐海涛（hunk Xu）
QQ技术交流群：386476712