hadoop高可用安装步骤及环境配置

hadoop高可用安装

要给自己的电脑内存留有足够的空间，且电脑配置要好一点。
在进行免密钥时要进入.ssh目录下且ssh之后不要忘记exit。
命令的路径不要进入错误。
在输入命令时要仔细查看命令，不要输错。
在格式化的时候最好不要多次格式化，可能会出现一些问题。
因为我的电脑配置跟不上，所以在启动所有集群之后，电脑非常的卡，而且机子也经常崩掉，所以在跑wordcount时经常卡住，没有成功的跑全wordcount。

（一）分发jdk到node03、node04、node05

scp jdk-7u67-linux-x64.rmp node03:pwd
scp jdk-7u67-linux-x64.rmp node04:pwd
scp jdk-7u67-linux-x64.rmp node05:pwd

并在Xshell的全部会话栏里ll一下，看jdk是否发送成功
截图如下：

（二）给node03、node04、node05分别安装jdk

1.分别在node03、node04、node05上执行rpm命令
-rpm –I jdk-7u67-linux-x64.rpm

2.在note02上cd /etc，在此目录下把profile文件分发到node03、node04、node05上
scp profile node03:pwd
scp profile node04:pwd
scp profile node05:pwd

3.利用Xshell全部对话栏，source /etc/profile

4.再利用Xshell全部对话栏，jps，看03、04、05这三台机子
结果如下：

（三）同步所有服务器时间

1.-date 查看机子当前的时间
时间不能差太大，否则集群启动后某些进程跑不起来

2.若时间不同步
yum进行时间同步器的安装
-yum –y install ntp
执行同步时间
-ntpdate time1.aliyun.com 和阿里云服务器时间同步

（四）装机之前的配置文件

1.-cat /etc/sysconfig/network
查看HOSTNAME是否正确
要与自己查询的这台机子名字符合

2.-cat /etc/hosts
查看IP映射是否正确

3.-cat /etc/sysconfig/selinux
查看是否SELINUX=disabled

4.service iptables status查看防火墙是否关闭

（五）NN与其他三台机子的免密钥配置

1.在家目录下ll –a看下有无.ssh文件，如果没有就ssh localhost一下，并exit。
然后cd .ssh，并ll一下

2.把note02的公钥发给其他三台机子
-scp id_dsa.pub node03:pwd/note02.pub
-scp id_dsa.pub node04:pwd/note02.pub
-scp id_dsa.pub node05:pwd/note02.pub

3.分别在node03、node04、node05的.ssh目录下看是否有note02.pub
如果有，那就追加到authroized_keys
-cat note02.pub >> authorized_keys
并且在note02上ssh node03、ssh node04、ssh node05

重点：每次ssh都要exit一下

（六）两个NN间互相免密钥

1.在node03上：
ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa
-cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost验证一下

2.分发到note02上：
scp id_dsa.pub note02:pwd/node03.pub

3.在note02的.ssh目录下
-cat node03.pub >> authorized_keys

4.在node03上ssh note02验证一下可否免密钥登录，并exit退出

（七）修改namenode的一些配置信息<