hadoop的伪分布模式配置

主要配置5个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。

1：配置core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost</value>
    </property>
</configuration>

2:配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

//其中“1”表示有多少个备份副本

3:配置mapred-site.xml,(注意：这个文件默认是没有的，项目提供一个样本mapred-queues.xml.template，可以将这个cp一份)

cp mapred-site.xml.template mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4：配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5：配置slaves文件（指定datanode的主机）

只需要输入：localhost 即可，因为是伪分布模式，所以datanode也在本地系统
如果是完全分布模式，则需要配置对应datanode节点的ip或主机名称

总结：

1：配置文件一定要注意名称和值是否一定准确，否则会是的系统找不到这些信息的

2:hadoop采用的是cluster/slaves的模式，slaves文件就是指明
那几个数据节点在那台机上部署datanode。

3：可以很方便的将这个伪分布模式的文件转化为完全分布式模式，
只需要将需要部署相关守护进程的机器ip填入相应位置即可。