mac 10.10安装hadoop 2.6.0以及配置伪节点

一、先到官方网站下载最新稳定版hadoop，目前最新的稳定版为2.6.0，网络上很多资料还是2.0以前版本的，所以很多配置目录对不上，博主也是看了官方的文档来进行配置，在这里记录下来，也是为了以后配置的时候可以回来看看，也可以分享给其他准备学习hadoop的同学。将下载的文件解压，放到你的安装目录下，博主把文件放到应用程序目录下。

二、配置免密码登陆ssh，打开设置->共享->勾选远程登陆，设置为允许任何用户访问。在控制台下执行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，如果遇到密码输入就直接回车。然后再执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys设置为免密码登陆。执行ssh localhost来测试是否成功设置ssh为免密码登陆。

三、修改配置文件，现在版本配置文件在etc文件夹下

1、修改core-site.xml，在文件中加入

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2、修改 hdfs-site.xml，在文件中加入

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3、修改 mapred-site.xml，新版本的hadoop没有该文件，需要新建一个，在文件中加入

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4、修改 yarn-site.xml，在文件中加入

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5、修改hadoop-evn.sh，在文件中加入

export JAVA_HOME=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

四、启动hadoop

1、格式化namenode，定位到当前安装目录下，执行bin/hdfs namenode -format。

2、执行sbin/start-all.sh启动全部服务。

3、打开http://localhost:50070/和http://localhost:8088/，可以打开成功表明hadoop安装成功而且服务启动成功。

五、注意事项，在搭建环境中遇到的一些问题

1、服务启动失败，到log目录下查看相应的日志，并处理。

2、namenode启动失败，可能是由于tmp原因，因为格式化后的tmp文件夹在重启后自动删除了，所以又要格式化才能启动。在core-site.xml中加入节点

<property>
    	<name>hadoop.tmp.dir</name>
    	<value>/Applications/hadoop-2.6.0/tmp</value>
    	<description>A base for other temporary directories.</description>
    </property>

将tmp目录设置到安装目录下的tmp文件夹，当然可以根据自己的需要进行设置到其他目录。

3、ssh无法登陆，需要密码，哪个用户设置的ssh就用哪个，其他的用户登陆是无效的，需要重新设置。