第五记·Hadoop SSH免秘钥配置以及本地native 压缩配置

XY个人笔记

【一、SSH免密码登录】

我们每次启动($ sbin/start-dfs.sh)或关闭($ sbin/stop-dfs.sh)进程的时候都需要我们输入密码，这样很繁琐，为了解决这种烦恼，它提供给我们一个免秘钥的启动停止方法，下面来看看hadoop进程免秘钥的配置。

$ sbin/stop-dfs.sh 		//		关闭
$ sbin/start-dfs.sh 		//		启动

首先我们执行

$ ssh-keygen -t rsa 

其中-t 是指定公钥和私钥的类型 这历史 rsa 类型

 

id_rsa --> 私钥

id_rsa.pub --> 公钥

 

再执行

 

$ ssh-copy-id hadoop01.com

自己也要给自己发送公钥和私钥

 

 

 

ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上，ssh-copy-id命令也会给远程主机的用户主目录（home）和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限。

 

authorized_keys --> 将公钥保存到文件中远程拷贝到其他机器上保存

known_hosts --> 记录秘钥信息

看.ssh目录下面是不是不有四个文件

 

报错解决：

如果没有生效，就删除.ssh目录下所有文件，重新生成

或者直接删除.ssh目录，生成方式ssh-keygen，就会生成.ssh目录，不要使用mkdir

 

检验是否配置成功：$ ssh hadoop21.com //远程登录到hadoop21.com

 

 

 

最后，配置了SSH之后，就不需要输入密码，直接可以启动多个节点的服务进程（sbin/start-dfs.sh）

$ sbin/start-dfs.sh

ssh免秘钥配置成功。

【二、本地native配置】

 

【本地库无法加载的警告】

ERROR

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

这个版本的压缩包被其他用户编译了，但是编译者的编译环境和我们自己的环境有不一样

解决方法：

下载官方的源码包

hadoop-2.5.0-src.tar.gz

1、编译Hadoop源码

2、替换hadoop/lib下的native本地库文件

3、将编译好的native拷贝到lib下

4、通过bin/hadoop checknative检验是否成功

 

首先 将lib下的native更名为native-back (备份)

 

 

 

下载 native-2.7.3-snappy.tar.gz

 

将native-2.7.3-snappy.tar.gz 解压到 lib目录

$  tar -zvxf native-2.7.3-snappy.tar.gz -C /opt/modules/apache/hadoop-2.7.3/lib

 

解压后查看是否解压成功

$ bin/hadoop checknative

解压前：

 

解压后：

 

 

 

native-2.7.3-snappy.tar.gz下载地址：https://download.csdn.net/download/u014414323/10452696

配置完成。

各位小朋友人们、还有我们的超龄儿童们。儿童节快乐！！！~~~

小时候，想快点长大，现在却希望时间慢一点。不同的阶段，有不同的感受，但重要的是，此刻的你，是否快乐如常。年纪只是个符号，希望我们都能有与之匹配的内涵，或天真，或无畏，或沉稳，或纯粹。活得像自己，才是对生命最好的回馈。

2018年6月1日16:09:09 持之以恒，我们共同进步~~~