Hadoop安装过程遇到的坑：

Hadoop安装过程遇到的坑：

http://www.powerxing.com/install-hadoop/

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

http://www.powerxing.com/hadoop-build-project-using-eclipse/

使用Eclipse编译运行MapReduce程序Hadoop2.6.0/Ubuntu

一、配置文件

1. core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abasefor other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

2.hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

3.mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

4.yarn-site.xml

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>127.0.0.1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>127.0.0.1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>127.0.0.1:8031</value>

</property>

二、可能会遇到的问题

1. 在更改完配置文件之后，需要用hdfsnamenode -format 命令执行namenode格式化

然后、 用start-all.sh启动hadoop服务，一共会启动六个，如下图所示：

如果有些服务没打开，而且配置文件没出错的话，可以尝试删掉hadoop安装目录下的tmp和logs文件夹里的内容，重新启动服务。

2、伪分布的情况下，是直接可以再eclipse下运行自己写的hadoop程序的，但是需要在自己新建的工程src目录下拷进log4j.properties文件，其中log4j.properties可以在hadoop安装目录下的/etc/hadoop目录下找到，不然程序运行时，会提示找不到日志文件的错误。（声明：上面配置eclipse的网页中，要求把配置文件*.xml也要拷进去工程下，这个可能造成在程序运行时出现classNotFoundException的异常，所以只在src目录下拷进去log4j.properties文件即可）。