mac osx下安装hadoop 2.5.0伪分布式

本文主要介绍了在mac osx下安装hadoop 2.5.0的步骤：

一、OSX 版本信息如下：

二、安装JAVA

1.安装JAVA（此处不再叙述，其他有很多）

2.运行命令 :java -version

 

三、hadoop 2.5.0 版本下载:

http://mirror.bit.edu.cn/apache/hadoop/common/

 

四、下载完之后解压到对应目录：/Users/${你的登录账户名}/hadoop/hadoop-2.5.0

执行命令：

1.cd /Users/${你的登录账户名}/hadoop/hadoop-2.5.0/

2.bin/hadoop version

会出现如下提示信息：     

 

五、单节点伪集群部署时需要本机ssh连通

1. 执行命令：ssh localhost

会有错误提示信息，表示当前用户没有权限。这是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。中文版如下图：系统偏好设置->共享->远程登录

 不过这里面还有一个麻烦，就是每次都会要求输入用户密码，那么就实现免登陆的配置

2.执行命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

3.执行命令：cat .ssh/id_rsa.pub >>.ssh/authorized_keys

4.再执行命令：ssh localhost

出现类似如下信息则免登陆设置成功。

六、配置hadoop关键文件

以下的配置文件均在/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/etc/hadoop/目录下

1、配置hadoop-env.sh文件

添加如下内容（注意java_home的路径）：

export JAVA_HOME=/Library/Java/Home

export HADOOP_HEAPSIZE=2000

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

保存退出

2、配置 core-site.xml文件

在<configuration>标签内添加如下内容：

<property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/tmp</value>

        <description>A base for other temporary directories.</description>

</property>

 

保存退出

 

3、配置hdfs-site.xml文件

在<configuration>标签内添加如下内容：

<property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/hdfs/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/Users/${你的登录账户名}/hadoop/hadoop-2.5.0/hdfs/datanode</value>

    </property>

4、配置mapred-site.xml文件，这个文件没有的，可以复制mapred-site.xml.template改名得到

在<configuration>标签内添加如下内容：

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

  </property>

5、配置yarn-site.xml文件

在<configuration>标签内添加如下内容：

 

<!-- Site specific YARN configuration properties -->

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

<property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>40960</value>

    </property>

 

至此hadoop的基本配置完成，可执行下一步了。

七、初始化

执行以下命令

cd /Users/${你的登录账户名}/hadoop/hadoop-2.5.0

bin/hadoop namenode –format

 

八、启动Hadoop

之前的Hadoop版本中，可以使用start-all.sh启动Hadoop，现在这种做法已经不赞同使用了。

依次启动HDFS和YARN，每次启动之后可以运行jps观察已经启动的服务：

cd /Users/${你的登录账户名}/hadoop/hadoop-2.5.0/sbin/

依次执行下列命令

sh ./start-dfs.sh

sh ./start-yarn.sh

 

hadoop配置完成。

 

 

访问http://localhost:50070/ 和http://localhost:8088/cluster可以查看是否配置成功。

 

2.5版本的命令是：bin/hdfs hdfs  *******

 

完成！

感谢：http://dectinc.cc/2014/03/21/hadoop-installation-and-configuration/