Hadoop环境搭建之初体验

0、版本

搭建Hadpp的版本为1.2.1 下载地址为：http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-1.2.1/

1、登录验证

（1）、确定系统是否安装了ssh和ssh-keygey

可以通过which命令来确认

which ssh

which ssh-keygen

如果出现

/usr/bin/which: no ssh in (/usr/.....)则表示系统里面没有安装SSH服务，可以通过www.openssh.com下载安装

（2）、发布公钥证书

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

在~/.ssh/ 目录会生成id_rsa和和id_rsa.pub文件，如果使用全分布式环境，那么需要将id_rsa.pub文件复制到各台分布式机器中，如果是单机搭建伪分布式只需将id_rsa.pub文件copy到~/.ssh/目录的authorized_keys文件即可，使用如下命令都可实现该目的：

copy ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 或

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

（3）测试登陆验证

ssh localhost或者ssh 127.0.0.1不再提示输入密码，直接登陆，那么SSH登陆设置成功。

2、配置Hadoop

（1）在HADOOP_HOME/conf目录下，打开hadoop-env.sh，设置系统的Java环境，

export JAVA_HOME=/Users/binliu/java

  (2) 如果使用的是Mac OS X系统，那么在启动hdsf的NameNode和secondaryNameNode时，会报出Unable to load realm info from SCDynamicStore 的错误提示，解决该问题的办法是，在hadoop-env.sh文件里面增加一行 export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

详见文章：http://gauss-deng.iteye.com/blog/1370295

（3）配置core-site.xml、mapred-site.xml文件

conf/core-site.xml文件

[xhtml]  view plain copy

1. <configuration>