【Spark------通过gitlab 服务器ssh进入192.168.1.185(master节点)节点】

31人阅读 评论(0) 收藏 举报
分类:

【导读】最近换了新的实验室,以前所用的spark集群服务器不能远程连接,需要通过49服务器来连接到我们的spark集群服务器。

远程连接软件:PuTTY_0.67.0.0

这里写图片描述

1.首先在原服务器中生成节点公钥:
$ cd ~/.ssh               #如果没有该目录执行ssh localhost
$ rm ./id_rsa*             #删除之前的公钥
$ ssh-keygen -t rsa        #生成公钥
2.无需密码ssh本机:
$ cat ./id_rsa.pub >> ./authorized_keys
3 .将公钥传输到master节点

这里写图片描述

4.接着在master节点上,将ssh公钥加入授权:
$ mkdir ~/.ssh            #如果不存在则创建
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
$ rm ~/id_rsa.pub     #用完删除
5.进入:~$ vi /etc/hosts

这里写图片描述

6.无密码登录master节点:

这里写图片描述


以上的连接方式比较麻烦【主要是很容易断开连接】,更有效的方式可参考一下:
通过49作为跳板服务器来向185服务器传输文件【软件winscp】:

效果如下:
这里写图片描述
参考链接:
● 【Windows和linux(ubuntu)互传文件简便快捷的方法】:https://www.cnblogs.com/yajing-zh/p/4368748.html
● 【winscp实现跳板连接】:https://jingyan.baidu.com/article/454316ab6ffe1af7a7c03a31.html?qq-pf-to=pcqq.group
● 【SecureCRT可以实现和Xshell相同的功能】

通过49作为跳板服务器来远程连接185,、186和188服务器

创建快捷方式:
这里写图片描述

效果:
这里写图片描述
参考连接:
● 【Xshell 5 破解版|xshell产品密钥】:http://blog.sina.com.cn/s/blog_e8bc17860102x4b5.html
● 【xshell实现跳板连接】:https://jingyan.baidu.com/article/d5a880ebd69c2613f147ccbf.html

在spark集群中要实现个主机的时间同步:如果不同步和有可能检测到心跳超时而断开和slave的通信。

这里写图片描述
参考连接:
● 【linux配置多台服务器系统时间一致】:https://blog.csdn.net/x6_9x/article/details/53322881
● 【Xshell同时向多个会话发送指令的方法】:https://www.linuxidc.com/Linux/2015-08/122110.htm

查看评论

集群多服务器,普通用户SSH访问方法

1. 序 环境: 三台CentOS服务器组成的集群。 masterslave1slave2 目标: 服务器节点间完成root用户、普通用户user的SSH无密码访问。 2. 制作公钥私钥...
  • fly_yr
  • fly_yr
  • 2016-04-21 17:50:03
  • 1242

Ubuntu系统上集群之间ssh实现无密码登录

准备条件: 安装ssh-server sudo apt-get install openssh-server 安装ssh-client sudo apt-get install opens...
  • Winterto1990
  • Winterto1990
  • 2016-10-19 10:29:00
  • 1002

Fuel SSH访问控制节点的方法

直接在个人PC上无法SSH控制节点。需要将PC的公钥加入到控制节点上。 在下面的文档里提供了这两种办法。 一个是这样加,另外一个比较笨蛋。 我的办法很笨蛋 由于可以ssh fuel-mas...
  • anzhuangguai
  • anzhuangguai
  • 2016-02-24 16:13:53
  • 1451

使用mpich2配置linux服务器集群

创建SSH信任连接  1、更改/etc/hosts文件        vim /etc/hosts    编辑为下面内容:    127.0.0.1 localhost.localdomai...
  • educast
  • educast
  • 2011-12-30 15:45:32
  • 1395

Jenkins slave节点配置(SSH with private key)

https://segmentfault.com/a/1190000008369457slave节点机器配置创建jenkins用户用root用户登录slave节点,首先创建jenkins用户,并指定主...
  • chengly0129
  • chengly0129
  • 2018-02-14 23:11:52
  • 113

linux下多个节点ssh互相免密码连接详解

ssh配置详解;; 操作环境:Ubuntu server 14.04  1到3每台机器都做一遍,4以后选择一台做 1.系统已经自带openssh了。如若没有请sudo apt-get i...
  • u013888892
  • u013888892
  • 2014-05-10 23:01:58
  • 1853

Centos 7.0 下hadoop集群模式安装(以3个节点为例,master,slave1,slave2)超详细

构建由3台PC机构成的hadoop集群环境,安装完成后使用HDFS、Mapreduce、Hbase等完成一些小例子。...
  • MrCat520
  • MrCat520
  • 2017-06-16 09:20:40
  • 2211

两种常见挂载Jenkins slave节点的方法

1、挂载slave节点的方法在Jenkins的Master上,进入Mange node页面,可以管理node节点,例如新加、删除等操作。 新加node节点的页面如下: 其中, Name是节点...
  • liuchunming033
  • liuchunming033
  • 2016-07-27 17:40:02
  • 18608

Xenserver主节点故障处理示例/Xenserver进入单用户

# ## Xenserver主节点故障,XenCenter无法连接—示例篇 # 主节点故障/ toolstack/ xapi 通常在配有HA的XenServer Pool中,当主节点发生...
  • hzhvv
  • hzhvv
  • 2016-06-22 16:38:28
  • 864

Hadoop配置集群内无密码登陆

我的一台虚机上面装了三台Centos,hostname分别是Master,Slave1,Slave2, Centos中查看节点 IP 地址的命令为 ip addr,如果是新安装的最小化centos,...
  • qq_31382921
  • qq_31382921
  • 2016-08-11 15:40:28
  • 255
    个人资料
    持之以恒
    等级:
    访问量: 5544
    积分: 722
    排名: 7万+
    文章存档