在linux虚拟机中的hadoop高分布新手安装记录

在linux虚拟机中的hadoop高分布新手安装记录

目录
一. 配置虚拟机
二. 安装Xshell
三. 安装Xftp
四. 安装jdk文件
1) 报错：vi + /etc/profile 和source /etc/profile出错
2) 报错2：-bash: jps: command not found
五. 装hadoop
六. 给node02、03、04分别安装jdk
1) 报错： 1传2不行但其他传2可以
七. 同步所有虚拟机时间
八. 检查：
1) 查看IP映射是否正确
九. NN与其他三台机子的免秘钥设置
十. 修改配置信息
十一. 安装zookeeper
1). zkServer.sh status报错：
十二. 配置NN和Standbynode
十三. 为MapReduce做准备

一. 配置虚拟机
配置4台干净的虚拟机，我的命名为node01,node02,node03,node04
二. 安装Xshell
连接4台虚拟机
三. 安装Xftp
将所需文件传输进虚拟机。如下图这个功能就可以将文件从主机传到虚拟机更便利。。安装后将jdk文件传到虚拟机node01上。 ****
四. 安装jdk文件

1. rpm安装jdk
   rpm -i jdk-7u67-linux-x64.rpm
   -whereis java
   -vi + /etc/profile
   export JAVA_HOME=/usr/bin/java
   export PATH=$PATH:$JAVA_HOME/bin
   -source /etc/profile

1. 报错：vi + /etc/profile 和source /etc/profile出错
   
   解决方法：
   我发现是profile里的path没配好，重新配就好了

2. 报错2：-bash: jps: command not found
   解决方法：
   把环境配置path中的JAVA_HONE改成直接路径
   

2. 免秘钥
   在家目录下，ll –a ,看有无.ssh文件，若无，则先ssh localhost一下（登录完别忘了exit）
   生成密钥- ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
   追加-cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   

验证免秘钥是否成功
-ssh localhost 验证 （别忘了exit）
-ssh node01 验证（别忘了exit）

五. 装hadoop
解压hadoop的包-tar xf hadoop-2.6.5.tar.gz -C /opt/ldy (注：-C的C 是大写）

配置环境变量如下：（输入hd按Tab键可以联想出hdfs 输入start-d按Tab键可以联想出start-dfs.就表示配置成功了）

修改hadoop配置文件信息

配置slaves文件
vi slaves
node01（虚拟机名）

1.格式化hdfs
hdfs namenode -format (只能格式化一次，再次启动集群不要执行，否则clusterID变了) 之前/var/ldy/hadoop/pseudo这个文件不存在，格式化后就存在了，检查一下看存在没

2.启动集start-dfs.sh，
并用jps验证下都有哪些进程启动起来了。