分布式并行计算之集群搭建步骤

集群搭建流程使用手册

1 虚拟机创建

1.1 基础创建安装

1. 安装客户端：访问ip ：192.168.80.8 通过网页访问下载vSphere Client端。安装客户端，登录用户：shengwu 密码：SW123$

2. 创建虚拟机：在shengwu集群创建虚拟机（注意在将要作为节点1的机器上添加两张网卡，两块硬盘）按所提示步骤创建完成后，启动并安装系统，连接到本地磁盘的ISO镜像。连接镜像需要一些时间，连接完成后Ctrl+Alt+delete重启 进入安装界面

3. 配置网络 ：在 /etc/netplan/01-network-manager-all.yaml

   vi /etc/netplan/01-network-manager-all.yaml
   echo "
   network:
     version: 2
     renderer: NetworkManager
     ethernets:
              ens160:
                      dhcp4: no
                      addresses: [192.168.80.10/24]
                      optional: true
                      gateway4: 192.168.80.2
                      nameservers:
                          addresses: [114.114.114.114, 8.8.8.8]
              ens192:
                      addresses: [192.168.1.1/24] 
   				   " > /etc/netplan/01-network-manager-all.yaml
   netplan apply
   

4. 更换阿里镜像（非必要选择）

   sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup
   echo "" > /etc/apt/sources.list
   echo "deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
   deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
   deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse"  > /etc/apt/sources.list
   
   apt-get -y  update
   apt-get -y  upgrade
   

5. 开启SSH服务以及安装必要的包

   apt-get install -y  openssh-server
   sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/g'  /etc/ssh/sshd_config 
   apt-get install -y  vim
   apt-get install -y  git
   apt-get install -y  tcl tk expect
   apt-get install -y  net-tools
   

   使用 ps -e | grep ssh，如果只有 ssh-agent 表示还没启动，需要 /etc/init.d/ssh start；有sshd 说明已启动。

6. 安装docker

   sudo apt-get remove docker docker-engine docker-ce docker.io
   sudo apt-get update
   sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common
   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
   sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
   sudo apt-get update
   sudo apt-get install -y docker-ce
   systemctl status docker
   sudo systemctl start docker
   

   测试：sudo docker run hello-world

1.2 注意事项

1. 登陆 vSphere Client客户端可能需要登录1—N次

2. ubuntu18.04是默认不允许root账号登录SSH，表现形式是通过普通账号可以进行SSH远程登录，但是root账号不行，即使输入的是正确的root密码，仍然提示Permission denied, please try again.

   已在上述安装SSH时处理，在此只为记录手动修改方法：
   vi /etc/ssh/sshd_config
   将PermitRootLogin no的注释去掉，改为yes；补充：AddressFamily any #允许任何地方登录 PermitRootLogin yes # 允许root账号登录 PubkeyAuthentication yes # 启用公钥私钥配对认证方式 service sshd restart

1.3 克隆虚拟机

现在克隆节点虚拟机里边安装了
1、vim；
2、SSH服务；
3、expect；
4、配置了阿里云apt源；
5、docker；
6、git；
7、克隆虚拟机节点2、3。

1.4 建立的三台机器的网络地址