在集群的操作机上执行命令为什么会出现权限被拒绝_Hadoop集群部署-环境准备...

说明:

1. 教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记 或者跳过说明的步骤，环境大家的过程中问题会非常的多.
2. 本教程中安装的是hadoop 3.x版本,后续我们还需要安装hadoop 2.x版本,为什么我们要这么做，因为现在hadoop3.x版本已经更新的非常快，安装的过程中对里面的脚本，配置文件等做了语法和执行权限的校验，安全性更 高了，同时hadoop3.x版本是未来企业部署的趋势，我们就需要去学习安装它，知道里面的变化和坑在哪里，工作中 我们才更容易的应对环境带来的一些问题。同时呢，我们会安装hadoop2.x,学习的时候主要学习hadoop2.x为主,那 是因为我们现在大部分企业还在使用hadoop2.x，为了让同学们能够更好的把学习中的知识运用到实际工作中，我们 课堂上讲解以hadoop 2.x为主,和大部分企业保持一致.所以，安装完hadoop3.x版本后，还需要同学们按照hadoop2.x的要求来以及步骤对hadoop2.x版本进行安装，提前搞好环境，准备迎接即将到来的大数据正式课堂。
3. 主机名和IP配置

我们按照【三节点大数据环境安装教程1】已经完成虚拟机的克隆，但是我们克隆出来的三台虚拟机的配置是一样的 需要做简单的修改.

1. 1. 启动三台虚拟机
2. 启动第一台虚拟机

启动第二台虚拟机

1. 启动第三台虚拟机

1. 1. 配置三台虚拟机主机名

首先使用root用户名和root密码分别登录三台虚拟机

1. 分别在三台虚拟机上执行命令:hostnamectl set-hostname nodeXXX(虚拟机名)

第一台机器上设置主机名node1

第二台机器上设置主机名node2

第三台机器上设置主机名node3

然后在三台机器上分别执行命令:logout

发现主机名已经修改成node1了，相同的操作大家在其他两台机器上执行下看看效果.

1. 1. ip配置

三节点ip规划如下：

节点名称

ip

node1
192.168.200.11
node2
192.168.200.12
node3
192.168.200.13

如下图，将node1上的ip修改为192.168.200.11，修改完后使用命令:systemctl restart network重启网卡

按照上面步骤一次修改node2的ip为:192.168.200.12,修改完后使用systemctl restart nework命令重启网卡，node3

的ip修改方法一样，修改为192.168.200.13,修改完后重启网卡.

1. 在xshell中创建三台虚拟机连接会话

1. root用户的免密登录配置
   1. 连接三台虚拟机

按住Ctrl依次选择三台虚拟机的会话连接，点击连接，这时会一次性打开三台虚拟机的连接会话

会出现三次安全警告，连续点击三次接受并保存即可.

生成公钥和私钥

使用此命令：ssh-keygen -t rsa 分别在三台机器中都执行一遍,这里只在node1上做演示，其他两台机器也需要执行此命令。

[root@node1 ~]# ssh-keygen -t rsa	#<--回车Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #<--回车#会在root用户的家目录下生成.ssh目录，此目录中会保存生成的公钥和私钥
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): #<--回车Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is:
SHA256:gpDw08iG9Tq+sGZ48TXirWTY17ajXhIea3drjy+pU3g root@node1 The key's randomart image is:
+---[RSA 2048]   +
|. .	|
| * =	|
|. O o	|
| . + .	|
|  o . + S.      |


| ..+..o*. E
|o o+++*.=o..
|.=.+oo.=oo+o
|+.. .oo.o=o+o
|
|
|
|
+----[SHA256]	+
You have new mail in /var/spool/mail/root [root@node1 ~]#

1. 配置hosts文件

192.168.200.11
node1
192.168.200.12
node2
192.168.200.13
node3

node1的配置:

#hosts文件中配置三台机器ip和主机名的映射关系,其他两台机器按照相同的方式操作. [root@node1 ~]# vi /etc/hosts
127.0.0.1	localhost localhost.localdomain localhost4 localhost4.localdomain4
::1	localhost localhost.localdomain localhost6 localhost6.localdomain6

node2的配置:

node3的配置:

1. 1. 拷贝公钥文件
      1. 将node1的公钥拷贝到node2,node3上
      2. 将node2的公钥拷贝到node1,node3上
      3. 将node3的公钥拷贝到node1,node2上

以下以node1为例执行秘钥复制命令：ssh-copy-id -i 主机名

#复制到node2上

[root@node1 ~]# ssh-copy-id -i node2
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub" The authenticity of host 'node2 (192.168.200.12)' can't be established.
ECDSA key fingerprint is SHA256:rJzUyoggUP/Zn9v5rvqKpWppnG9xZ4gBZuXqHWxPy5k.
ECDSA key fingerprint is MD5:f3:37:16:c4:bb:00:3e:59:ec:b3:37:23:1b:24:88:e6.
Are you sure you want to continue connecting (yes/no)? yes #询问是否要连接输入yes回车
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it
is to install the new keys
root@node2's password: #输入root用户的密码root后回车Number of key(s) added: 1

Now try logging into the machine, with:	"ssh 'node2'"
and check to make sure that only the key(s) you wanted were added.

#复制到node3上

[root@node1 ~]# ssh-copy-id -i node3
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub" The authenticity of host 'node3 (192.168.200.13)' can't be established.
ECDSA key fingerprint is SHA256:rJzUyoggUP/Zn9v5rvqKpWppnG9xZ4gBZuXqHWxPy5k.
ECDSA key fingerprint is MD5:f3:37:16:c4:bb:00:3e:59:ec:b3:37:23:1b:24:88:e6.
Are you sure you want to continue connecting (yes/no)? yes #询问是否要连接输入yes回车
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it
is to install the new keys
root@node3's password: #输入root用户的密码root后回车Number of key(s) added: 1

Now try logging into the machine, with:	"ssh 'node3'"
and check to make sure that only the key(s) you wanted were added.


[root@node1 ~]#

验证免密登录配置

此操作只在node1上操作，其他机器上大家在验证。

# 使 用 ssh 命 令 登 录 node2

[root@node1 ~]# ssh node2
Last login: Sun Jun 30 13:56:53 2019 from node1

#登录成功后这里的命令提示符已经变为[root@node2 ~]#说明登录成功[root@node2 ~]# logout # 退 出 node2 继 续 验 证 登 录 node3 Connection to node2 closed.

#登录node3

[root@node1 ~]# ssh node3
Last login: Sun Jun 30 13:56:55 2019 from node1 #登录成功
[root@node3 ~]# logout Connection to node3 closed.
You have new mail in /var/spool/mail/root [root@node1 ~]#

1. 1. 添加本地认证公钥到认证文件中

#进入到root用户的家目录下[root@node1 ~]# cd ~ [root@node1 ~]# cd .ssh/ #讲生成的公钥添加到认证文件中

[root@node1 .ssh]# cat id_rsa.pub >> authorized_keys [root@node1 .ssh]#