hadoop 在mac上伪分布配置

转自果粉记 http://note4ios.com/?p=61

在MAC上安装Hadoop

Hadoop是进行大数据计算的有效工具，本文介绍如何在MAC上安装Hadoop，并配置伪分布式的环境。

STEP1：新建系统用户 

虽然这不是必须的, 但出于安全的考虑，最好新建一个系统用户。添加用户如下：

点击System Preferences or “系统偏好设置” > Accounts or “用户与群组”

点击 靠近帐号列表底部的”+” 按钮 . 如果点击无效，你需要点击底角的锁定图标来开启这一能力，键入Admin用户和密码。

当弹出一个新用户的窗口，键入 全名、 账户名称 和 密码. 如下:

全名: hadoop
账户名称: Hadoop
密码: MyPassword

填写完后, 点击 “创建用户”，新用户创建完成。

访问 “实用工具” -> “终端”, 打开终端。输入命令行： su hadoop ，按照提示输入密码。完成后，现在可以使用账号hadoop进行操作了。

STEP 2: 安装JAVA 

          MAC电脑上默认已经安装好java了，你可以输入命令行：“java -version”，查看JAVA的版本。

STEP 3: 配置远程免登陆 

SSH已经安装在你的 Mac系统上. 但是, 你需要确保能够访问你的机器 (那样Hadoop就不会不要其烦的让你键入密码了). 如下去做：

System Preferences > Sharing (under Internet & Network)

在服务列表下面, 尝试 “Remote Login”. 为了安全, 你可以点击单选按钮“Only these Users” ， 选择 hadoop 用户

现在, 我们配置在登录本地机器时不再提示输入密码. 在终端下键入如下:

$:~ ssh-keygen -t rsa -P “”
$:~ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

现在 试一下:

$:~ ssh localhost

你应该可以不用密码登录了.

Step 4: 下载和安装Hadoop

下载最新的Hadoop，我选择下载的是1.2.1版本：

 $: curl -O http://apache.etoak.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载完成后，解压缩，并设置目录的权限：

$: tar -xzvf hadoop-1.2.1
$: chown -R hadoop hadoop-1.2.1

STEP 4: 配置HADOOP

配置Hadoop时，需要分别修改4个文件：

• hadoop-env.sh
• core-site.xml
• hdfs-site.xml
• mapred-site.xml

这四个文件，都在Hadoop目录中的conf子目录下。

hadoop-env.sh

为了避免出现错误： “Unable to load realm info from SCDynamicStore” error.  需要增加如下一行：

# export HADOOP_OPTS=-server
export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

core-site.xml

先在命令行输入：

$ mkdir -p /Users/hadoop/hadoop-1.2.1/hdfs/tmp

建立tmp目录后，再修改core-site.xml文件

< ?xml version=”1.0″?> 
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl” ?>
<!– Put site-specific property overrides in this file . –>
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/Users/hadoop/hadoop-1.2.1/hdfs/tmp</value>
    <description>A base for other temporary directories .</description>
  </property>
  <property>
    <name> fs.default.name </name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version=”1.0″?>

<?xml-stylesheet type=”text/xsl” href=”configuration.xsl” ?>
<!– Put site-specific property overrides in this file . –>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

<?xml version=”1.0″?>

< ?xml-stylesheet type=”text/xsl” href=”configuration.xsl” ?>
< !– Put site-specific property overrides in this file . –>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9010</value>
</property>
</configuration>

STEP 5: 运行HADOOP 

格式化节点：

$ hadoop-1.2.1/bin/hadoop namenode -format

建立DFS:
$ hadoop-1.2.1/bin/start-all.sh

作为测试，我们新建一个目录：

$ hadoop-1.2.1/bin/hadoop -mkdir test

输入命令：

$ bin/hadoop dfs -ls

Found 1 items

drwxr-xr-x   – hadoop supergroup          0 2013-08-05 18:06 /user/hadoop/test

输入命令：$ hadoop-1.2.1/bin/stop-all.sh ，可以终止DFS。