【Spark------通过gitlab 服务器ssh进入192.168.1.185(master节点)节点】

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yuming226/article/details/79948152

【导读】最近换了新的实验室,以前所用的spark集群服务器不能远程连接,需要通过49服务器来连接到我们的spark集群服务器。

远程连接软件:PuTTY_0.67.0.0

这里写图片描述

1.首先在原服务器中生成节点公钥:
$ cd ~/.ssh               #如果没有该目录执行ssh localhost
$ rm ./id_rsa*             #删除之前的公钥
$ ssh-keygen -t rsa        #生成公钥
2.无需密码ssh本机:
$ cat ./id_rsa.pub >> ./authorized_keys
3 .将公钥传输到master节点

这里写图片描述

4.接着在master节点上,将ssh公钥加入授权:
$ mkdir ~/.ssh            #如果不存在则创建
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
$ rm ~/id_rsa.pub     #用完删除
5.进入:~$ vi /etc/hosts

这里写图片描述

6.无密码登录master节点:

这里写图片描述


以上的连接方式比较麻烦【主要是很容易断开连接】,更有效的方式可参考一下:
通过49作为跳板服务器来向185服务器传输文件【软件winscp】:

效果如下:
这里写图片描述
参考链接:
● 【Windows和linux(ubuntu)互传文件简便快捷的方法】:https://www.cnblogs.com/yajing-zh/p/4368748.html
● 【winscp实现跳板连接】:https://jingyan.baidu.com/article/454316ab6ffe1af7a7c03a31.html?qq-pf-to=pcqq.group
● 【SecureCRT可以实现和Xshell相同的功能】

通过49作为跳板服务器来远程连接185,、186和188服务器

创建快捷方式:
这里写图片描述

效果:
这里写图片描述
参考连接:
● 【Xshell 5 破解版|xshell产品密钥】:http://blog.sina.com.cn/s/blog_e8bc17860102x4b5.html
● 【xshell实现跳板连接】:https://jingyan.baidu.com/article/d5a880ebd69c2613f147ccbf.html

在spark集群中要实现个主机的时间同步:如果不同步和有可能检测到心跳超时而断开和slave的通信。

这里写图片描述
参考连接:
● 【linux配置多台服务器系统时间一致】:https://blog.csdn.net/x6_9x/article/details/53322881
● 【Xshell同时向多个会话发送指令的方法】:https://www.linuxidc.com/Linux/2015-08/122110.htm

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页