Hadoop安装过程遇到的坑:
http://www.powerxing.com/install-hadoop/
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
http://www.powerxing.com/hadoop-build-project-using-eclipse/
使用Eclipse编译运行MapReduce程序Hadoop2.6.0/Ubuntu
一、配置文件
-
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
2.hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
3.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
二、可能会遇到的问题
1. 在更改完配置文件之后,需要用hdfsnamenode -format 命令执行namenode格式化
然后、 用start-all.sh启动hadoop服务,一共会启动六个,如下图所示:
如果有些服务没打开,而且配置文件没出错的话,可以尝试删掉hadoop安装目录下的tmp和logs文件夹里的内容,重新启动服务。
2、伪分布的情况下,是直接可以再eclipse下运行自己写的hadoop程序的,但是需要在自己新建的工程src目录下拷进log4j.properties文件,其中log4j.properties可以在hadoop安装目录下的/etc/hadoop目录下找到,不然程序运行时,会提示找不到日志文件的错误。(声明:上面配置eclipse的网页中,要求把配置文件*.xml也要拷进去工程下,这个可能造成在程序运行时出现classNotFoundException的异常,所以只在src目录下拷进去log4j.properties文件即可)。