主要配置5个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。
1:配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost</value>
</property>
</configuration>
2:配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
//其中“1”表示有多少个备份副本
3:配置mapred-site.xml,(注意:这个文件默认是没有的,项目提供一个样本mapred-queues.xml.template,可以将这个cp一份)
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4:配置yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5:配置slaves文件(指定datanode的主机)
只需要输入:localhost 即可,因为是伪分布模式,所以datanode也在本地系统
如果是完全分布模式,则需要配置对应datanode节点的ip或主机名称
总结:
1:配置文件一定要注意名称和值是否一定准确,否则会是的系统找不到这些信息的
2:hadoop采用的是cluster/slaves的模式,slaves文件就是指明
那几个数据节点在那台机上部署datanode。
3:可以很方便的将这个伪分布模式的文件转化为完全分布式模式,
只需要将需要部署相关守护进程的机器ip填入相应位置即可。