spark集群安装部署使用

spark集群
修改master主机名字

[root@master]# hostname master

修改hosts文件

[root@master ~]# vim /etc/hosts
192.168.112.135 master
192.168.112.136 slave1
192.168.112.137 slave2

修改完成后保存执行如下命令

[root@master ~]# source /etc/hosts

配置Master无密码登录所有Salve

  在Master节点上生成密码对
[root@master ~]# ssh-keygen -t rsa -P ''
  把id_rsa.pub追加到授权的key里面去
[root@master ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改ssh配置文件"/etc/ssh/sshd_config"

[root@master ~]# vim /etc/ssh/sshd_config
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式

重启ssh服务

[root@master ~]# systemctl restart ssh

验证无密码登录本机是否成功

[root@master ~]# ssh master

将公钥复制到所有的Slave机器上

[root@master ~]# scp /root/.ssh/id_rsa.pub root@slave1:/root/
[root@master ~]# scp /root/.ssh/id_rsa.pub root@slave2:/root/

接着配置Slave节点，以下是在slave1、slave2节点的配置操作
在"/root/“下创建”.ssh"文件夹

[root@slave1 ~]# mkdir /root/.ssh

将Master的公钥追加到slave1、slave2的授权文件"authorized_keys"中

[root@slave1 ~]# cat /root/id_rsa.pub >> /root/.ssh/authorized_keys
修改"/etc/ssh/sshd_config"
[root@master ~]# vim /etc/ssh/sshd_config
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
重启ssh服务
[root@slave1 ~]# systemctl restart ssh

创建"slave1、slave2"自己的公钥和私钥，并把自己的公钥追加到"authorized_keys"文件中

[root@slave1 ~]# ssh-keygen -t rsa -P ''
[root@slave1 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
将slave1、slave2节点的公钥"id_rsa.pub"复制到Master节点的"/root/"目录下
[root@slave1 ~]# scp /root/.ssh/id_rsa.pub root@Master:/root/

以下是在Master节点的配置操作

将slave1、slave2的公钥追加到Master的授权文件"authorized_keys"中去
[root@master ~]# cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
删除Slave1复制过来的"id_rsa.pub"文件
[root@master ~]# rm –r /root/id_rsa.pub

Java1.8.0_121环境搭建
上传并解压jdk # master,slave1,slave2

jdk-8u121-linux-x64.tar.gz
[root@master ~]# tar -zxvf jdk-8u121-linux-x64.tar.gz

添加Java环境变量，在/etc/profile中添加

[root@master ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_121
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH