一、安装和启动SSH协议
假设没有安装ssh和rsync,可以通过下面命令进行安装。
sudo apt-get install ssh 安装SSH协议
sudo apt-get install rsync
service sshd restart 启动服务
(rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
确保所有的服务器都安装,上面命令执行完毕,各台机器之间可以通过密码验证相互登。
Last login: Mon Oct 29 14:01:11 2012 from 10.196.80.99
hadoop@namenode:~
sshlocalhostTheauthenticityofhost‘localhost(127.0.0.1)′can′tbeestablished.ECDSAkeyfingerprintisc0:b3:7d:6d:17:94:02:e1:e4:67:39:4f:08:ff:74:cf.Areyousureyouwanttocontinueconnecting(yes/no)?yesWarning:Permanentlyadded‘localhost′(ECDSA)tothelistofknownhosts.hadoop@localhost′spassword:……Lastlogin:MonOct2914:25:472012from10.196.80.99hadoop@namenode:
s
s
h
l
o
c
a
l
h
o
s
t
T
h
e
a
u
t
h
e
n
t
i
c
i
t
y
o
f
h
o
s
t
‘
l
o
c
a
l
h
o
s
t
(
127.0.0.1
)
′
c
a
n
′
t
b
e
e
s
t
a
b
l
i
s
h
e
d
.
E
C
D
S
A
k
e
y
f
i
n
g
e
r
p
r
i
n
t
i
s
c
0
:
b
3
:
7
d
:
6
d
:
17
:
94
:
02
:
e
1
:
e
4
:
67
:
39
:
4
f
:
08
:
f
f
:
74
:
c
f
.
A
r
e
y
o
u
s
u
r
e
y
o
u
w
a
n
t
t
o
c
o
n
t
i
n
u
e
c
o
n
n
e
c
t
i
n
g
(
y
e
s
/
n
o
)
?
y
e
s
W
a
r
n
i
n
g
:
P
e
r
m
a
n
e
n
t
l
y
a
d
d
e
d
‘
l
o
c
a
l
h
o
s
t
′
(
E
C
D
S
A
)
t
o
t
h
e
l
i
s
t
o
f
k
n
o
w
n
h
o
s
t
s
.
h
a
d
o
o
p
@
l
o
c
a
l
h
o
s
t
′
s
p
a
s
s
w
o
r
d
:
…
…
L
a
s
t
l
o
g
i
n
:
M
o
n
O
c
t
29
14
:
25
:
47
2012
f
r
o
m
10.196.80.99
h
a
d
o
o
p
@
n
a
m
e
n
o
d
e
:
hadoop@namenode:~ sshdatanode1Theauthenticityofhost‘datanode1(10.196.80.91)′can′tbeestablished.ECDSAkeyfingerprintisdc:8b:7b:82:25:74:0c:ec:15:a7:3b:2a:e6:c3:a0:2e.Areyousureyouwanttocontinueconnecting(yes/no)?yesWarning:Permanentlyadded‘datanode1,10.196.80.91′(ECDSA)tothelistofknownhosts.hadoop@datanode1′spassword:WelcometoUbuntu12.04.1LTS(GNU/Linux3.2.0−29−generic−paei686)……hadoop@datanode1: s s h d a t a n o d e 1 T h e a u t h e n t i c i t y o f h o s t ‘ d a t a n o d e 1 ( 10.196.80.91 ) ′ c a n ′ t b e e s t a b l i s h e d . E C D S A k e y f i n g e r p r i n t i s d c : 8 b : 7 b : 82 : 25 : 74 : 0 c : e c : 15 : a 7 : 3 b : 2 a : e 6 : c 3 : a 0 : 2 e . A r e y o u s u r e y o u w a n t t o c o n t i n u e c o n n e c t i n g ( y e s / n o ) ? y e s W a r n i n g : P e r m a n e n t l y a d d e d ‘ d a t a n o d e 1 , 10.196.80.91 ′ ( E C D S A ) t o t h e l i s t o f k n o w n h o s t s . h a d o o p @ d a t a n o d e 1 ′ s p a s s w o r d : W e l c o m e t o U b u n t u 12.04.1 L T S ( G N U / L i n u x 3.2.0 − 29 − g e n e r i c − p a e i 686 ) … … h a d o o p @ d a t a n o d e 1 :
二、配置Master无密码登录所有Salve
1)SSH无密码原理
Master(NameNode |JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode |Tasktracker)上时,需要在Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到所有的Slave上。
当Master通过SSH连接Salve时,Salve就会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。
重要过程是将客户端Master复制到Slave上。
2)Master机器上生成密码对
在Master节点上执行以下命令:
ssh-keygen –t rsa –P ”
这条命令是生成其无密码密钥对,询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa和id_rsa.pub,默认存储在”/home/hadoop/.ssh”目录下。
hadoop@namenode:~
ssh−keygen−trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/idrsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/home/hadoop/.ssh/idrsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/idrsa.pub.Thekeyfingerprintis:c8:5e:3e:c1:9b:52:6f:24:a5:e4:c1:1c:00:8d:fb:3bhadoop@namenodeThekey′srandomartimageis:+–[RSA2048]—−+|.+…||..o.||.=.||..=+||.oS.||..+B||o.=o||E.o||.|+—————–+hadoop@namenode:
s
s
h
−
k
e
y
g
e
n
−
t
r
s
a
G
e
n
e
r
a
t
i
n
g
p
u
b
l
i
c
/
p
r
i
v
a
t
e
r
s
a
k
e
y
p
a
i
r
.
E
n
t
e
r
f
i
l
e
i
n
w
h
i
c
h
t
o
s
a
v
e
t
h
e
k
e
y
(
/
h
o
m
e
/
h
a
d
o
o
p
/
.
s
s
h
/
i
d
r
s
a
)
:
E
n
t
e
r
p
a
s
s
p
h
r
a
s
e
(
e
m
p
t
y
f
o
r
n
o
p
a
s
s
p
h
r
a
s
e
)
:
E
n
t
e
r
s
a
m
e
p
a
s
s
p
h
r
a
s
e
a
g
a
i
n
:
Y
o
u
r
i
d
e
n
t
i
f
i
c
a
t
i
o
n
h
a
s
b
e
e
n
s
a
v
e
d
i
n
/
h
o
m
e
/
h
a
d
o
o
p
/
.
s
s
h
/
i
d
r
s
a
.
Y
o
u
r
p
u
b
l
i
c
k
e
y
h
a
s
b
e
e
n
s
a
v
e
d
i
n
/
h
o
m
e
/
h
a
d
o
o
p
/
.
s
s
h
/
i
d
r
s
a
.
p
u
b
.
T
h
e
k
e
y
f
i
n
g
e
r
p
r
i
n
t
i
s
:
c
8
:
5
e
:
3
e
:
c
1
:
9
b
:
52
:
6
f
:
24
:
a
5
:
e
4
:
c
1
:
1
c
:
00
:
8
d
:
f
b
:
3
b
h
a
d
o
o
p
@
n
a
m
e
n
o
d
e
T
h
e
k
e
y
′
s
r
a
n
d
o
m
a
r
t
i
m
a
g
e
i
s
:
+
–
[
R
S
A
2048
]
—
−
+
|
.
+
…
|
|
.
.
o
.
|
|
.
=
.
|
|
.
.
=
+
|
|
.
o
S
.
|
|
.
.
+
B
|
|
o
.
=
o
|
|
E
.
o
|
|
.
|
+
—
—
—
—
—
–
+
h
a
d
o
o
p
@
n
a
m
e
n
o
d
e
:
查看”/home/hadoop/”下是否有”.ssh”文件夹,且”.ssh”文件下是否有两个刚生产的无密码密钥对。
hadoop@namenode:~/.ssh$ cat id_rsa.pub >> authorized_keys
在验证前,需要做两件事儿。第一件事儿是修改文件”authorized_keys”权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能),另一件事儿是用root用户设置”/etc/ssh/sshd_config”的内容。使其无密码登录有效。
hadoop@namenode:~/.ssh$ chmod 600 authorized_keys
备注:如果不进行设置,在验证时,扔提示你输入密码,在这里花费了将近半天时间来查找原因。
3) 设置SSH配置
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。(在Ubuntu12.04系统里面,貌似不用修改此文件)
1.RSAAuthentication yes # 启用 RSA 认证
2.PubkeyAuthentication yes # 启用公钥私钥配对认证方式
3.AuthorizedKeysFile /home/hadoop/.ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
退出root登录,使用hadoop普通用户验证是否成功
hadoop@namenode:~/.ssh$ ssh localhost
Welcome to Ubuntu 12.04.1 LTS (GNU/Linux 3.2.0-29-generic-pae i686)
* Documentation: https://help.ubuntu.com/
191 packages can be updated.
51 updates are security updates.
Last login: Mon Oct 29 14:43:08 2012 from localhost
hadoop@namenode:~$
从上图中得知无密码登录本级已经设置完毕,接下来的事儿是把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥:
scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/
例如:
scp ~/.ssh/id_rsa.pub hadoop@10.196.80.1:~/
上面的命令是复制文件"id_rsa.pub"到服务器IP为"10.196.80.91"的用户为"hadoop"的"/home/hadoop/"下面。
4)把namenode上的公钥复制到datanode1上
先在每个slave机器的/home/hadoop/下新建 .ssh 文件夹。
hadoop@namenode:~/.ssh
scpauthorizedkeyshadoop@datanode1:/home/hadoop/.ssh/hadoop@datanode1′spassword:authorizedkeys100hadoop@namenode: /.ssh
s
c
p
a
u
t
h
o
r
i
z
e
d
k
e
y
s
h
a
d
o
o
p
@
d
a
t
a
n
o
d
e
1
:
/
h
o
m
e
/
h
a
d
o
o
p
/
.
s
s
h
/
h
a
d
o
o
p
@
d
a
t
a
n
o
d
e
1
′
s
p
a
s
s
w
o
r
d
:
a
u
t
h
o
r
i
z
e
d
k
e
y
s
100
h
a
d
o
o
p
@
n
a
m
e
n
o
d
e
:
/
.
s
s
h
从上图中我们得知,已经把文件”id_rsa.pub”传过去了,因为并没有建立起无密码连接,所以在连接时,仍然要提示输入输入database1服务器用户hadoop的密码。为了确保确实已经把文件传过去了,用SecureCRT登录datanode1:10.196.80.91服务器,查看”/home/hadoop/”下是否存在.ssh这个文件夹。存在的话然后是修改文件夹”.ssh”的用户权限,把他的权限修改为”700”,用下面命令执行:
chmod 700 ~/.ssh
备注:如果不进行,即使你按照前面的操作设置了”authorized_keys”权限,并配置了”/etc/ssh/sshd_config”,还重启了sshd服务,在Master能用”ssh localhost”进行无密码登录,但是对Slave1.Hadoop进行登录仍然需要输入密码,就是因为”.ssh”文件夹的权限设置不对。这个文件夹”.ssh”在配置SSH无密码登录时系统自动生成时,权限自动为”700”,如果是自己手动创建,它的组权限和其他权限都有,这样就会导致RSA无密码远程登录失败。
5)追加到授权文件”authorized_keys”
到目前为止Master.Hadoop的公钥也有了,文件夹".ssh"也有了,且权限也修改了。这一步就是把Master.Hadoop的公钥追加到Slave1.Hadoop的授权文件"authorized_keys"中去。使用下面命令进行追加并修改"authorized_keys"文件权限:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
用root用户修改”/etc/ssh/sshd_config”
具体步骤参考前面Master.Hadoop的"设置SSH配置",具体分为两步:第1是修改配置文件;第2是重启SSH服务。
【Ubuntu下不用这一步操作貌似也是可以的。】
用namenode使用SSH无密码登录datanode*
当前面的步骤设置完毕,就可以使用下面命令格式进行SSH无密码登录了。
ssh 远程服务器IP
最后记得把所有Slave节点的"/home/hadoop/.ssh"目录下的"id_rsa.pub"文件删除掉。
rm –r ~/id_rsa.pub
到此为止,我们经过前5步已经实现了从"Master"到"Slave1"SSH无密码登录,下面就是重复上面的步骤把剩余的两台(Slave2和Slave3)Slave服务器进行配置。这样,我们就完成了"配置Master无密码登录所有的Slave服务器"。
6)配置所有Slave无密码登录Master
和Master无密码登录所有Slave原理一样,就是把Slave的公钥追加到Master的".ssh"文件夹下的"authorized_keys"中,记得是追加(>>)。
操作之前,先把namenode的/etc/hosts文件通过scp复制到各个datanodede 的/home/hadoop/Downloads文件夹下,然后登陆各个namenode使用sudo cp命令覆盖hosts文件。
其他的datanode类似
首先创建”datanode2”自己的公钥和私钥,并把自己的公钥追加到”authorized_keys”文件中。用到的命令如下:
ssh-keygen –t dsa–P ”
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
接着是用命令”scp”复制”datanode”的公钥”id_dsa.pub”到”namenode”的”/home/hadoop/”目录下,并追加到”namenode”的”authorized_keys”中。
在”namenode”服务器的操作
用到的命令如下:
cat id_dsa.pub >> authorized_keys
然后删除掉刚才复制过来的”id_rsa.pub”文件。
最后是测试从"datanode"到"namenode"无密码登录。
然后剩余机器同样的配置。