配置hadoop伪分布式模式

1.修改core-site.xml添加：

文件系统访问地址，其中vv.com在etc/hosts中配置

<property>

<name>fs.defaultFS</name>

<value>hdfs://vv.com:8020</value>

</property>

为分布式文件系统访问路径

<property>

<name>hadoop.tmp.dir</name>

<!-- 伪分布配置路径 -->

<value>/opt/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp</value>

</property>

 

2.修改hdfs-site.xml：

<!--配置副本数，为文件在hdfs中存储的份数，默认为3-->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

配置namenode访问的http路径

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>vv.com:50090</value>

</property>

 

 

3. 配置yarn-site.xml：

//启用mapreducer 的shuffle 功能 

<property>

<name>yarn.nodemanager.aux-services </name>

<value>mapreduce_shuffle</value>

</property>

 

指定yarn服务器的IP 0.0.0.0为自己 最好不要设置为0.0.0.0 应该设置为hosts里面配置的别名

<property>

<name>yarn.resourcemanager.hostname</name>

<value>0.0.0.0</value>

</property>

 

是否启用日志聚集功能。默认是false不启动

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

 

在HDFS上聚集的日志最多保存多长时间。默认是-1不保存

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>640800</value>

</property>