1 hadoop-env.sh
添加JAVA_HOME
2 core-site.xml
第一个属性用来指定HDFS老大得地址,也就是NameNode的地址
value值是主机名加端口号,如果在host文件中添加了主机名和ip映射,主机名也可以用ip地址替换。。。。。
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
第二个属性用来指定hadoop运行时产生文件的路径
<property>
<name>hadoop.tmp.dir</name>
<value>/master/hadoop-2.5.2/tmp</value>
</property>
3 hdfs-site.xml
指定hdfs保存数据的副本数量,如果是2,总共有2份
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4 mapred-site.xml
原本hadoop文件夹的etc下是没有mapred-site.xml的。。。。 mv mapred-site.xml.template mapred-site.xml
生成一个 mapred-site.xml
告诉hadoop以后mapreduce运行在yarn上面。。。。
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5 yarn-site.xml
添加两个属性,第一个告诉nodemanager获取数据的方式为shuffle
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第二个指定yarn的老大Resourcemanagger的地址
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>