搭建Hadoop的伪分布模式

搭建Hadoop的伪分布模式

    通过修改Hadoop安装目录下的配置文件来搭建

    1、hdfs-site.xml -> 配置HDFS

            数据块的冗余度，默认为3，因为搭建的是伪分布环境只有一个数据节点所以配置为1，一般来说数据块的冗余度和数据节点是一致的，但是最大不要超过3，超过3后就没有实际意义了

            

    2、core-site.xml -> 配置HDFS

<!--主节点NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<!--主机名(ip)的地址-->
<value>hdfs://bigdata11:9000</value>
</property>

                <!--HDFS数据保存的目录，默认是Linux的tmp目录(一定要重新配置，因为Linux的tmp目录重启后里面的数据会被清空)-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

        3、mapred-site.xml -> 配置运行MapReduce的环境Yarn

                mapred-site.xml -> 默认没有，有个模板文件名，需要拷贝一份后缀名修改为.xml, MapReduce 不能独立运行，必须要部署到Yarn容器当中

                

                <!--MR程序运行的容器是Yarn-->
<property>
  <!--mapreduce.framework.name 运行框架 yarn-->
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

        4、yarn-site.xml -> 配置运行MapReduce的容器Yarn

                <!--主节点ResourceManager的地址-->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>bigdata11</value>
</property>
<!--从节点NodeManager运行MR任务的方式-->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <!--mapreduce_shuffle 洗牌，整个MapReduce的核心-->
  <value>mapreduce_shuffle</value>
</property>

配置完成后，对NameNode进行格式化 

    hdfs namenode -format

出现这句话就说明配置成功

    

可以使用 start-all.sh 启动查看，然后照着提示输入 yes 和 密码，完成后输入 jps 查看启动结果，出现下面的信息就说明搭建成功

完成后下一篇文章讲如何配置免密码登录启动和伪分布环境下的实例操作，不然光是启动一台机器就够费劲的了