Hadoop2.X的安装与配置（三）伪分布模式

      在上一篇文章中，我们介绍了Hadoop2.X安装与配置前的准备阶段。

      在伪分布模式配置前，首先完成准备阶段。

     点击如下链接，进入准备阶段的配置

https://blog.csdn.net/weixin_38187469/article/details/79765876

伪分布模式的配置需要在如下的配置文件中添加配置参数

配置参数介绍

hdfs-site.xml：配置hdfs的属性

        dfs.replication：数据块的冗余度，如果不配置，默认值是3。这里配置伪分布模式，只有一个数据节点，因此设置为1。

        dfs.permissions：权限检查，默认值是true。设置为false，不进行权限检查。

core-site.xml：配置hdfs的属性

        fs.defaultFS：配置主节点的地址。

        hadoop.tmp.dir：配置hdfs数据保存的目录，默认值是Linux的/tmp目录。若Linux重启，tmp目录下的所有数据会被删除，因此需要修改保存数据的目录，并且此目录要事先存在。

mapred-site.xml：配置yarn的属性，yarn是一个执行MapReduce程序的容器

        mapreduce.framework.name：设置MapReduce程序运行的容器为yarn。

yarn-site.xml：配置yarn的属性

        yarn.resourcemanager.hostname：配置主节点地址。

        yarn.nodemanager.aux-services：从节点运行MapReduce的方式。

伪分布模式的配置：

  （1）修改hadoop-env.sh配置文件

    :set number打开行号，在hadoop-env.sh配置文件中添加如下语句

    :wq保存退出

     注：这里JAVA_HOME所在位置根据自己jdk所在位置进行修改

（2）修改hdfs-site.xml配置文件

     在hdfs-site.xml配置文件中添加如下语句

    :wq保存退出

（3）修改core-site.xml配置文件

        创建hdfs数据保存的目录

      修改core-site.xml配置文件

    在core-site.xml配置文件中添加如下语句

   :wq保存退出

到此hdfs配置完成

（4）修改mapred-site.xml配置文件

     在mapred-site.xml配置文件中添加如下语句

  :wq保存退出

（5）修改yarn-site.xml配置文件

      在yarn-site.xml配置文件中添加如下语句

:wq保存退出

最后一步：对从节点NameNode格式化

        命令：hdfs namenode -format

若打印出以下日志，说明格式化成功

日志：Storage directory /root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

到这里伪分布模式的配置就完毕了

接着就可以启动Hadoop的伪分布集群

命令：start-all.sh   启动hdfs和yarn            start-dfs.sh   启动hdfs            start-yarn.sh   启动yarn

          stop-all.sh   关闭hdfs和yarn            start-dfs.sh   关闭hdfs            start-yarn.sh   关闭yarn

    启动后，使用命令jps查看后台进程，出现如下图所示，说明Hadoop伪分布环境启动成功。

    若要关闭伪分布环境，可以使用stop-all.sh命令。

       虽然伪分布模式启动成功了，不过发现需要输入四次密码才能启动伪分布环境，关闭伪分布环境同样需要输入四次密码。这里是伪分布模式，只有一台Linux机器就需要输入八次密码。若处于全分布模式下，如果有100台机器，就要输入800次密码，你也知道，这是不可能的。因此需要配置免密码登录，关于免密码登录，我在后续的文章中将会介绍，敬请期待。

版权声明：本文为博主原创文章，未经博主允许不得转载。

https://blog.csdn.net/weixin_38187469/article/details/79890719