1.修改core-site.xml添加:
文件系统访问地址,其中vv.com在etc/hosts中配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://vv.com:8020</value>
</property>
为分布式文件系统访问路径
<property>
<name>hadoop.tmp.dir</name>
<!-- 伪分布配置路径 -->
<value>/opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
</property>
2.修改hdfs-site.xml:
<!--配置副本数,为文件在hdfs中存储的份数,默认为3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
配置namenode访问的http路径
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>vv.com:50090</value>
</property>
3. 配置yarn-site.xml:
//启用mapreducer 的shuffle 功能
<property>
<name>yarn.nodemanager.aux-services </name>
<value>mapreduce_shuffle</value>
</property>
指定yarn服务器的IP 0.0.0.0为自己 最好不要设置为0.0.0.0 应该设置为hosts里面配置的别名
<property>
<name>yarn.resourcemanager.hostname</name>
<value>0.0.0.0</value>
</property>
是否启用日志聚集功能。默认是false不启动
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
在HDFS上聚集的日志最多保存多长时间。默认是-1不保存
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>