1. 服务器部署
192.168.0.101 主名字节点
192.168.0.101 备名字节点
192.168.0.101 数据节点1
192.168.0.102 数据节点2
2. /etc/hosts 设置
192.168.0.101 namenode
192.168.0.102 datanode
3. ssh 免密码登录
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost
第一次需要输入密码,第二次以后自动登录
此外,由于namenode需要ssh访问datanode,因此需要在datanode的授权码中增加对namdenode的授权
在namenode中使用scp命令
如:scp id_rsa.pub tizen@datanode:share
在datanode中
cat ~/share/id_rsa.pub >> ~/.ssh/authorized_keys
如果遇到ssh 验证等错误,可能是以前环境脏数据所致,建议删除authorized_keys 和 known_hosts 文件,及id_rsa*,重新生成。
4. 安装jdk,
最好卸载openjdk-7-jdk (sudo apt-get remove openjdk)
下载sun的jdk版本
ln到/usr/local/jdk
export JAVA_HOME=/usr/local/jdk
export CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
5. 下载hadoop2.7.1
ln 到 /usr/local/hadoop
6. 环境变量中设置.bashrc
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_PID_DIR=/data/hadoop/pids
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR&#