hadoop mac上安装启动

1） sshd在mac上

ps -ef|grep sshd 没有sshd服务，使用sudo /usr/sbin/sshd启动

2）配置（伪分布模式）

配置namenode core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

配置jobtracker

mapred-site.xml

<property>

<name>mapre.job.tracker</name>

<value>localhost:9001</value>

</property>

配置HDFS备份参数

hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

还需要在文集masters中指定SNN的位置，在文件slaves中指定从节点的位置

>cat masters //备份服务器的地址

localhost

>cat slaves //所有从节点的位置，回车分割多个节点地址

localhost

3)启动

先进行namenode格式化。hadoop namenode -format

启动： start-all.sh

停止：stop-all.sh

4) hadoop文件操作

格式：hadoop fs -cmd

hadoop fs -ls

5）jps 查看启动了的hadoop进程

hadoop 2.2 开始没有jobtracker，只有nodemanager和resourcemanager。这是因为开始使用了yarn，具体参看http://www.aboutyun.com/thread-7678-1-1.html

另外，可参考http://www.aboutyun.com/thread-7678-1-1.html

Troubleshootings:

1)ssh localhost 失败

参考文章第一条

2）Unable to load realm info from SCDynamicStore

这是因为hadoop对jdk版本支持问题。java -version确定版本，若为1.6，则在hadoop-env.sh中加入行

export HADOOP_OPTS="$HADOOP_OPTS -Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

3）运行hadoop fs -ls出现connection refused

启动hadoop顺序出错。应先hadoop namenode -format, 再start-all.sh