hadoop完全分布式搭建于常见问题解析

1. Hadoop如何识别是Linux路径还是HDFS路径

就是基于 core-site.xml中的fs.defaultFS的配置.

  <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop101:9820</value>
  </property>

1.1 Hadoop的fs.defaultFs的默认配置是: file:///

   假如我们在执行wordcount程序时,编写的命令是:
   hadoop jar share/hadoop/mapreduce/hadoop-mapredce-examples.jar  wordcount  wcinput/wc.input   wcoutput
   再执行时，会按照fs.defaultFS的配置解析输入和输出路径:
   
   如果配置的是file:///
   则将输入路径解析为:  file:///opt/module/hadoop-3.1.3/wcinput/wc.input
   将输出路径接卸为:  file:///opt/module/hadoop-3.1.3/wcoutput
   
   如果配置的是 hdfs://hadoop101:9820
   假如我们在执行wordcount程序时,编写的命令是:
   hadoop jar share/hadoop/mapreduce/hadoop-mapredce-examples.jar  wordcount  /user/atguigu/input    /user/atguigu/wcoutput
   则将输入路径解析为: hdfs://hadoop101:9820/user/atguigu/input
   将输出路径解析为: hdfs://hadoop101:9820/user/atguigu/output

2. 端口号

9820  NameNode内部通信端口
9870  NameNode web端访问端口
9869  2NN 内部通信端口
9868  2NN web端访问端口
8088  ResourceManager web端访问端口
8032  ResourceManager 内部通信地址

3. 在Yarn执行程序遇到超出虚拟内存限制，Container被kill的问题

在yarn-s