0102阿里云配置3台ECS服务器-大数据学习

1 前言

公司电脑配置想要运行虚拟机或者其他一些软件实在卡的不行，只能选择云服务器了。选择阿里云服务器，只是因为其他的没接触过。账号注册什么的，自行查阅相关文档，下面开始。

1 配置VPC和子网

在云上，每个人都可以得到专属的云上私有局域网，称之为 VPC （ virtual private cloud ）
它就相当于物理的路由器，可以提供一个子网，并允许我们将所需的资源（服务器、数据库等）放置在这个网络内。 简单理解相当于家庭网络中的路由器。

子网是在 VPC 内部创建的局域网络，可以在一个 VPC 内创建多个子网。
子网支持 /17 至 /29 的子网掩码，可以支持约 8 到 65535 个 IP 地址

第一步：登录阿里云，搜索专有网络VPC，点击打开专有网络控制台，如下图1-1所示

第二步：选择专有网络选项页-选择区域，遵循就近或者周边原则，我这里选择青岛，如下图1-2所示

第三步：点击创建专用网络和交换机

tips：交换机也可以随后配置，然后绑定到我们创建的专用网络上，这里我们就一起配置了

2 创建安全组

安全组其实就是云上的虚拟流量防火墙。
被安全组绑定的资源（比如服务器），其网络流量的进出都被安全组所控制。
我们可以通过控制安全组的规则，来决定：
• 资源的流量可以去往什么地方（出站控制）
• 外部的哪些访问可以连接到资源（入站控制）

安全组的创建
我们将要搭建大数据集群，对于集群，我们需要一个安全组来控制服务器和外部的交互
即通过安全组来控制进出的网络流量。

第一步：找到云服务ECS控制台，点击左侧安装组

tips: 因为我们创建的服务器就是用来学习使用，不对外开放，只要入方向自己能访问，出方向随意

第二步：删除默认规则，只留1条，入方向IP地址为自己的公网IP地址，目的任意，端口任意，如下图2-2所示

3 创建云服务器ECS

3.1 规划配置

集群规划
对于搭建大数据集群，规划使用三台服务器。根据部署的服务，其规格要求基本如下：

节点	CPU	内存
node1	1核心	2GB
node2	1核心	1GB
node3	1核心	1GB

当然，如果预算充足可以选择更高的配置。

3.2 配置

第一步：打开云服务器ECS控制台，云服务器ECS-创建实例

第二步：云服务器配置，服务类型，区域，网络，实例规格，镜像，系统盘，公网IP，宽带计费，安全组，登录凭证，高级选项-实例名称，主机名

• 区域 与网络对应，之前网络配置选择了区域
• 需要配置公网IP ，不然本地机器访问不了服务器
• 登录凭证选择密钥对形式，相对安全
• 设置主机名，或者脸上服务器后设置

如下图所示；

配置3台ECS服务器完成，如下图所示：

4 xshell连接服务器

我们配置的ECS服务器选择登录方式为密钥对，创建密钥对时会生成*.pem文件，这个找个位置保存，我们需要用到，如果丢失，删除创新创建和执行绑定。

第一步：主机名映射

# aliyun ecs bigdata
x.x.x.x node1
x.x.x.x node2
x.x.x.x node3

• x.x.x.x换成你服务器公网地址

第二步：打开xshell，创建新的回话，设置连接地址和名称

tips：主机可以填映射的主机名或者IP地址

第三步：用户身份验证

第四步：相同的操作，配置node2和node3的连接，连接3台服务器如下图所示：

5 配置基础环境

对于云服务器，我们也需要做对应的设置，只需要做：
• 主机名映射
• SSH 免密
• JDK 环境

三项即可，其余的在云服务器无需去做，因为
• 防火墙 SELinux 在云上默认关闭
• 时间云会自动同步，主机名和固定 IP 也是预先就设置好了

5.1 主机名映射

其中本地主机名映射，在xshell连接服务器时，已配置过，下面配置下服务器的主机名映射

在三台服务器编辑/etc/hosts文件

vim /etc/hosts
# 内容
192.168.207.131 node1
192.168.207.132 node2
192.168.207.133 node3

• 三台服务器在同一子网下，所以可以配置内网（私网）IP地址，可以互通

5.2 ssh免密登录

• root用户ssh免密登录

root用户我们已经设置为密钥对登录，只需要把密钥对文件*.pem 上传到/root/.ssh/文件夹，并改名为id_rsa即可。

后续大数据的软件，将不会以root用户启动（确保安全，养成良好的习惯）我们为大数据的软件创建一个单独的用户hadoop，并为三台服务器同样配置hadoop用户的免密互通

1. 在每一台机器执行：useradd hadoop，创建hadoop用户

2. 在每一台机器执行：passwd hadoop，设置hadoop用户密码为123456

3. 在每一台机器均切换到hadoop用户：su - hadoop，并执行 ssh-keygen -t rsa -b 4096，创建ssh密钥

4. 在每一台机器均执行

   ssh-copy-id node1
   ssh-copy-id node2
   ssh-copy-id node3
   

如果报错Permission denied (publickey,gssapi-keyex,gssapi-with-mic).，手动配置ssh免密互通，解决方案在下面6.1。

5.3 jdk

参考下面连接4

6 问题集

6.1 Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

• 在配置完ssh免密登录后，测试的时候报错，报错内容

  Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
  

• 报错原因不清楚

• 解决方案,参考下面连接3

第一步：编辑/etc/ssh/sshd_config，修改如下内容

# 启用pubkey认证
PubkeyAuthentication yes 

第二步：使用ssh-keygen -t rsa -b 2048 生成密钥对，root用户默认会在~/.ssh目录下,将生成的公钥添加到.ssh/authorized_keys。

第三步：更改.ssh和authorized_keys权限

chmod 0700 ~/.ssh
chmod 0600 ~/.ssh/authorized_keys

第四步：相互添加公钥，把所有的公钥在每个节点的~/.ssh/authorized_keys文件中都添加一遍

6.2 用tar解压文件出现错误Not found in archive

• 解决方案，用参数-C指定解压缩目录，示例

  tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server
  

参考地址下面连接5

结语

如果小伙伴什么问题或者指教，欢迎交流。

❓QQ:806797785

参考链接:

[1]大数据视频[CP/OL].2020-04-16.p1-6.

[2]Xshell ssh密钥对连接阿里云服务器[CP/OL].

[3]SSH 免密登录配置与Permission denied (publickey,gssapi-with-mic,password)问题[CP/OL].

[4]0101preparation-大数据学习[CP/OL].

[5]Centos7：用tar解压文件出现错误Not found in archive[CP/OL].