配置spark+hadoop(hdfs)集群

这两天接到的任务是在全新的服务器上搭建spark+hdfs集群，用于测试刚刚release的工程。

master:sr288(10.1.0.188)

slaves:

sr494(10.1.2.94)

sr495(10.1.2.95)

sr496(10.1.2.96)

sr497(10.1.2.97)

由于hdfs需要ssh进行通信，而且文件传输scp也需要ssh。我第一步是建立起所有节点之间的ssh无需密码通信。

一、建立ssh无密码连接

ssh密码连接：服务器先给用户公钥，用户用公钥对密码进行加密，发送给服务器，服务器用私钥解密。

ssh无密码连接：每个服务器保存其他用户的公钥authorized_keys，但用户访问将公钥pub发给服务器，服务器比对无误利用pub加密质询q，用户利用私钥p解密质询发送给服务器。

1.以root权限登陆sr288，新建用户yb，并赋予该用户bash的权限

useradd -d /home/yb -m yb

passwd yb

visudo下加入

yb ALL=(ALL)ALL

在/etc/passwd下加入yb:/bin/bash

2.ssh 生成rsa

切换到用户yb生成rsa

ssh-keygen -t rsa