XY个人笔记
【一、SSH免密码登录】
我们每次启动($ sbin/start-dfs.sh)或关闭($ sbin/stop-dfs.sh)进程的时候都需要我们输入密码,这样很繁琐,为了解决这种烦恼,它提供给我们一个免秘钥的启动停止方法,下面来看看hadoop进程免秘钥的配置。
$ sbin/stop-dfs.sh // 关闭
$ sbin/start-dfs.sh // 启动
首先我们执行
$ ssh-keygen -t rsa
其中-t 是指定公钥和私钥的类型 这历史 rsa 类型
id_rsa --> 私钥
id_rsa.pub --> 公钥
再执行
$ ssh-copy-id hadoop01.com
自己也要给自己发送公钥和私钥
ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上,ssh-copy-id命令也会给远程主机的用户主目录(home)和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限。
authorized_keys --> 将公钥保存到文件中远程拷贝到其他机器上保存
known_hosts --> 记录秘钥信息
看.ssh目录下面是不是不有四个文件
报错解决:
如果没有生效,就删除.ssh目录下所有文件,重新生成
或者直接删除.ssh目录,生成方式ssh-keygen,就会生成.ssh目录,不要使用mkdir
检验是否配置成功:$ ssh hadoop21.com //远程登录到hadoop21.com
最后,配置了SSH之后,就不需要输入密码,直接可以启动多个节点的服务进程(sbin/start-dfs.sh)
$ sbin/start-dfs.sh
ssh免秘钥配置成功。
【二、本地native配置】
【本地库无法加载的警告】
ERROR
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
这个版本的压缩包被其他用户编译了,但是编译者的编译环境和我们自己的环境有不一样
解决方法:
下载官方的源码包
hadoop-2.5.0-src.tar.gz
1、编译Hadoop源码
2、替换hadoop/lib下的native本地库文件
3、将编译好的native拷贝到lib下
4、通过bin/hadoop checknative检验是否成功
首先 将lib下的native更名为native-back (备份)
将native-2.7.3-snappy.tar.gz 解压到 lib目录
$ tar -zvxf native-2.7.3-snappy.tar.gz -C /opt/modules/apache/hadoop-2.7.3/lib
解压后查看是否解压成功
$ bin/hadoop checknative
解压前:
解压后:
native-2.7.3-snappy.tar.gz下载地址:https://download.csdn.net/download/u014414323/10452696
配置完成。
各位小朋友人们、还有我们的超龄儿童们。儿童节快乐!!!~~~
小时候,想快点长大,现在却希望时间慢一点。不同的阶段,有不同的感受,但重要的是,此刻的你,是否快乐如常。年纪只是个符号,希望我们都能有与之匹配的内涵,或天真,或无畏,或沉稳,或纯粹。活得像自己,才是对生命最好的回馈。
2018年6月1日16:09:09 持之以恒,我们共同进步~~~