云存储技术与应用

2201_75860183

已于 2024-01-03 16:42:24 修改

阅读量117

点赞数

文章标签：服务器网络

于 2023-11-27 09:43:58 首次发布

本文链接：https://blog.csdn.net/2201_75860183/article/details/134637509

版权

RAID 磁盘阵列相关操作

前提：

用途：用于数据保护和冗余性
前置环境：挂载 5 块硬盘，加上原本的 1 块硬盘，共 6 块硬盘。步骤参考 “《VMware Workstation 使用》” 中的 “一.2”

一、常用命令

安装管理工具 Mdadm：yum install -y mdadm
Mdadm 语法：mdadm [mode] <RAID-device> [options] <component-devices>
1. mode：LINEAR、RAID 0、RAID 1、RAID 4、RAID 5、RAID 6、RAID 10、MULTIPATH、FAULTY
  1. -A：启动 RAID 阵列
  2. -C：开始创建
  3. -D：查看 RAID 阵列的详细信息。如：mdadm -D /dev/md0
  4. -S：停止 RAID 阵列。如：mdadm -S /dev/md0
  5. -V：版本信息
  6. -a：检测硬盘名称
    1. -a yes：如果有任何设备文件不存在，则自动创建
  7. -b：较少的细节。用于 --detail 和 --examine 选项
  8. -c：指定配置文件。默认为 /etc/mdadm.conf
  9. -f：强制将磁盘或设备从 RAID 阵列中移除并标记为故障设备。如：mdadm -f /dev/md0 /dev/sdb1
    1. --fail：与 -f 效果一样。如：mdadm /dev/md0 --fail /dev/sdb1
  10. -h：帮助信息。用在以上选项后，则显示该选项信息
  11. --help--options：显示更详细的帮助
  12. -l：设置 RAID 级别。如：-l0：RAID 的等级为 RAID 0
  13. -n：显示硬盘数量。如：-n2：创建 RAID 的硬盘数量为 2 块
  14. -q：安静模式。不显示纯消息性的信息，除非是重要报告
  15. -r：从 RAID 阵列中删除磁盘或设备。如：mdadm -r /dev/md0 /dev/sdb1
    1. --remove：与 -r 目的一样，不同的是 -r = --fail + --remove。如：mdadm /dev/md0 --remove /dev/sdb1
  16. -s：扫描配置文件或用 /proc/mdstat 以搜寻丢失的信息
  17. -v：显示细节。一般只能跟 --detail 或 --examine 一起使用，显示中级的信息
2. --misc --zero-superblock：移除 RAID 阵列中的分区（需先停止对应阵列）。如：mdadm --misc --zero-superblock /dev/sdb1
3. 加热备盘：--spare-devices。如：创建一个 RAID 5 设备：将 /dev/sdb1、/dev/sdb2 和 /dev/sdb3 3 个分区建立 RAID 等级为 5 的 md0（设备名），并将 /dev/sdb4 1 个分区作为热备盘：mdadm -Cv /dev/md0 -l5 -n3 /dev/sdb[1-3] --spare-devices=1 /dev/sdb4
4. 如：创建一个 RAID 0 设备：将 /dev/sdb1 和 /dev/sdb2 建立 RAID 等级为 0 的 md0（设备名）：mdadm -Cv /dev/md0 -l0 -n2 /dev/sdb[1-2]
  1. 注：创建过程中的提示 “Continue creating array?” 输入 “y” 或 “yes” 均可
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat
1. 如出现如下内容，尤其是执行创建 RAID 阵列命令后，证明还未创建完成，需多次执行此命令查看，直至创建不再出现相似内容：

二、创建 RAID 0

【如已安装，则无需执行】安装管理工具 Mdadm：yum install -y mdadm
使用两块磁盘创建 RAID 0：mdadm -Cv /dev/md0 -a yes -l0 -n2 /dev/sdb /dev/sdc
1. 注：创建过程中的提示 “Continue creating array?” 输入 “y” 或 “yes” 均可
查看 md0 阵列的具体信息：mdadm -D /dev/md0
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat
将 md0 格式化：mkfs.ext4 /dev/md0
将 md0 设备挂载：
1. 创建挂载目录：mkdir /mnt/md0
2. 挂载 md0 设备：mount /dev/md0 /mnt/md0
查看挂载情况：df -h
将挂载信息写入配置文件：echo "/dev/md0 /mnt/md0 ext4 defaults 0 0" >> /etc/fstab
1. /dev/md0：设备（Device）
2. /mnt/md0：挂载点（Mount point）
3. ext4：硬盘文件系统格式（file system）
4. defaults：文件系统参数（parameters）。defaults 为默认参数
5. 第一个 0：能否被 dump 备份操作
  1. 0：不进行 dump 备份操作
  2. 1：每天进行 dump 备份操作
  3. 2：不定期进行 dump 备份操作
6. 第二个 0：开机是否检验扇区
  1. 0：不检验
  2. 1：最早检验
  3. 2：1 检验完后进行检验

三、创建 RAID 1

【如已安装，则无需执行】安装管理工具 Mdadm：yum install -y mdadm
使用两块磁盘创建 RAID 1：mdadm -Cv /dev/md1 -a yes -l1 -n2 /dev/sdd /dev/sde
1. 注：创建过程中的提示 “Continue creating array?” 输入 “y” 或 “yes” 均可
查看 md1 阵列的具体信息：mdadm -D /dev/md1
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat
将 md0 格式化：mkfs.ext4 /dev/md1
将 md0 设备挂载：
1. 创建挂载目录：mkdir /mnt/md1
2. 挂载 md0 设备：mount /dev/md1 /mnt/md1
查看挂载情况：df -h
将挂载信息写入配置文件：echo "/dev/md1 /mnt/md1 ext4 defaults 0 0" >> /etc/fstab

四、创建 RAID 5

【如已安装，则无需执行】安装管理工具 Mdadm：yum install -y mdadm
【如未执行 “三、四” 的操作，则无需执行】解放磁盘
1. 取消挂载：umount /dev/md0 /dev/md1
2. 停用 RAID 0 和 RAID 1：mdadm -S /dev/md0 /dev/md1
3. 查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat
使用 5 块磁盘创建 RAID 5：mdadm -Cv /dev/md0 -a yes -l5 -n5 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf
1. 注：创建过程中的提示 “Continue creating array?” 输入 “y” 或 “yes” 均可
查看 md0 阵列的具体信息：mdadm -D /dev/md0
1. 其中，“rebuilding” 状态为正在创建中，出现这种情况，可以等一会再执行此命令查看一下，直到全部为 “sync”。如图：
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat。如图：
将 md0 格式化：mkfs.ext4 /dev/md0
将 md0 设备挂载：
1. 【如已创建，则无需执行】创建挂载目录：mkdir /mnt/md0
2. 挂载 md0 设备：mount /dev/md0 /mnt/md0
查看挂载情况：df -h
标记坏盘 /dev/sdc：mdadm -f /dev/md0 /dev/sdc
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat。如图：
移除坏盘 /dev/sdc：mdadm -r /dev/md0 /dev/sdc
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat。如图：
在挂载点新建文件，并随便输入内容：vim /mnt/md0/test.txt
标记坏盘 /dev/sdd：mdadm -f /dev/md0 /dev/sdd
移除坏盘 /dev/sdd：mdadm -r /dev/md0 /dev/sdd
查看当前系统中所有处于启动状态的 RAID 设备信息：cat /proc/mdstat
访问刚创建的问题：vim /mnt/md0/test.txt

组建NAS文件共享网络

2. 组建 NAS 文件共享网络

一、挂载硬盘并初始化

挂载硬盘：关闭 True NAS 虚拟机，挂载 3 块 20 GB 的 SCSI 接口硬盘（加上原本的 1 块硬盘，共 4 块硬盘）
启动 True NAS 虚拟机，登录 WebUI 用户界面
创建池
1. 在左侧菜单中选择 “存储”——“池”，点击右上角的 “添加” 按钮。如图：
2. 创建或导入池页：在 “创建一个池” 模块中，选择 “创建新池”。如图：
3. 池管理器页：配置如下
  1. 名称：自定义。如：ZFSdisk
  2. 勾选 “加密”
    1. 在弹出的 “警告” 提示框中，勾选 “确认”，点击 “我了解” 按钮。如图：
  3. 加密方式：AES-256-GCM
  4. 可用磁盘：选择 “da1”、“da2”、“da3”，然后点击中间的向右箭头，将其挪到右侧的 “数据 VDev” 列表中
  5. 布局类型（“数据 VDev” 列表下方，无选项名称）：Raid-z
  6. 如图：
  7. 点击 “创建” 按钮，在弹出的 “警告” 提示框中，勾选 “确认”，点击 “创建池” 按钮。如图：
  8. 在弹出的 “警告” 提示框中，点击 “完成” 按钮。如图：
  9. 创建成功后，会在 “池” 页的列表中，看到刚创建的池。如图：
创建数据集
1. 点击新创建的池右侧的竖三点，选择 “添加数据集”。如图：
2. 添加数据集页：配置如下
  1. 名称和选项模块
    1. 名称：自定义。如：ShareDS
  2. 其他选项模块
    1. 共享类型：SMB
  3. 其他选项：保持默认
  4. 如图：
创建群组
1. 在左侧菜单中选择 “账户”——“群组”，在右侧页面中，点击右上角的 “添加” 按钮。如图：
2. 组配置页：配置如下
  1. 名称：自定义。如：ShareGroup
  2. 其他选项：保持默认
  3. 如图：
创建用户
1. 在左侧菜单中选择 “账户”——“用户”，在右侧页面中，点击右上角的 “添加” 按钮。如图：
2. 添加用户页：配置如下
  1. 识别模块
    1. 全名：自定义
    2. 用户名：自定义
    3. 密码、确认密码：自定义
  2. 目录和权限模块
    1. 主目录：展开 /mnt 目录，选择 ZFSdisk 目录
  3. 其他选项：保持默认
  4. 如图：

二、开启文件共享服务

在左侧菜单中选择 “共享”——“Windows 共享（SMB）”，在右侧页面中，点击右上角的 “添加” 按钮。如图：
基本页：配置如下
1. 路径：展开 /mnt 目录，选中其下的 ZFSdisk 目录，此时 “名称” 选项会自动填充成 “ZFSdisk”
2. 其他选项：保持默认
3. 如图：
点击 “提交” 按钮，会弹出 “启用服务” 弹框，选择 “启用服务”。如图：
如果弹出 “SMB 服务” 提示框（提示内容为 SMB 服务已经启动），点击 “关闭” 按钮即可。如图：
添加成功后，可在列表中看到对应数据。如图：
确认启动 SMB 服务：在左侧菜单中选择 “服务”，在右侧页面的列表中，找到 SMB 服务，确保已启动。如图：
验证
1. 在搜索框输入：\\[True NAS 虚拟机 IP]。如：\\192.168.128.152。如图：
2. 在弹出的对话框中，输入 “一.6” 中创建的用户的用户名和密码
3. 登录成功后，可看到对应的池，即为配置共享服务成功。如图：

True NAS 安装及配置

前提：

镜像版本：TrueNAS-12.0-U2.1.iso

一、安装（使用 VMware Workstation 进行安装）

创建虚拟机
1. 打开 VMware
2. 在左侧 “库” 窗口中右键，选择 ”新建虚拟机“
3. 欢迎页面：选择 “典型”
4. 安装客户机操作系统页面：选择 “稍后安装操作系统”
5. 选择客户机操作系统页面
  1. 客户机操作系统：其他
  2. 版本：FreeBSD 12 64 位
6. 命名虚拟机页面
  1. 虚拟机名称：自定义（可使用中文）
  2. 位置：自定义（路径中可包含中文）
7. 指定磁盘容量页面
  1. 最大磁盘大小：自定义
  2. 勾选 “将虚拟磁盘存储为单个文件”
启动虚拟机
1. 在 VMware 主界面左侧 “库” 窗口中找到刚创建的虚拟机——右键，选择 ”设置“
2. 在 “虚拟机设置” 弹窗中，选择 “硬件” 标签页——选中 “CD/DVD”——右侧的 “连接” 选择 “使用 ISO 映像文件”——点击 “浏览”，选择对应镜像
3. 将内存调整为 8 GB
4. 在 VMware 主界面左侧 “库” 窗口中找到刚创建的虚拟机——点击右侧界面中的 “开启此虚拟机”
安装系统
1. True NAS 安装向导页：输入 1、按回车键或者等待倒计时结束，进入安装界面。如图：
2. 控制台安装页：选择 “1 Install / Upgrade”，回车，进行系统安装。如图：
3. 选择安装位置页：按空格键，使得唯一的硬盘 da0 前的选项框变为 “*”，然后选择 “OK”，回车。如图：
4. 安装警告页：选择 “Yes”，回车。如图：
5. 设置 root 密码页：输入 root 密码。如图：
6. 选择 Boot 模式：选择 “Boot via BIOS”。如图：
7. 等待安装，安装完成后，回车。如图：
8. 控制台安装页：选择 “3 Reboot System”，回车。如图：
9. 重启完成后，结果如图：

二、配置（在系统启动页面（参考 “一.3.9”）进行操作）

配置 IP 地址：系统会通过 DHCP 自动分配，也可输入 1，回车，手动配置 IP 地址
配置 DNS：输入 1，回车
此处使用默认配置，不进行手动配置
访问 WebUI 用户界面
1. 在本地浏览器中输入界面下方的 HTTP 地址：http://192.168.128.152/。如图：
2. 打开 WebUI 用户界面登录页
  1. Username：root
  2. Password：root 的密码
  3. 如图：
3. 第一次登录成功，会有一个弹窗，点击 “GET STARTED” 按钮。如图：
4. 修改系统语言：在左侧菜单中，打开 “System”——“General”，在右侧页面中间左侧位置，找到 “Localization” 模块下的 “language” 选项，点击其下拉菜单，选择 “Simplified Chinese” 选项，然后点击左下角的 “SAVE” 按钮。如图：
5. 修改时区：在左侧菜单中，打开 “系统”——“常规”，在右侧页面中间右侧位置，找到 “时区”，输入 “shanghai”，在弹出的下拉框中，选择 “Asia/Shanghai”，然后点击 “保存” 按钮。如图：
  1. 保存成功后，会发现下方的 “日期格式” 和 “时间格式” 选项的值，已与本地一致。如图：

使用 True NAS 组建 IP-SAN

一、配置 True NAS 的网络环境

新增网络适配器
1. 关闭 True NAS 虚拟机，在 VMware Workstation 中对其添加一块网络适配器
2. 将原来的网络适配器的网络连接模式改为 “仅主机模式”，新增的网络适配器的网络连接模式设为 “NAT 模式”。如图：
配置网络
1. 启动 True NAS 虚拟机，进入主界面后，输入 “1”，回车，对出现的 em0、em1 进行网络配置。如图：
2. 配置 em0：仅主机模式。相关配置可参考 “《虚拟机的三种网络连接模式》” 中的 “三”
  1. Select an interface：1，选择 em0
  2. Delete interface？：n
  3. Remove the current settings of this interface？：n
  4. Configure interface for DHCP？：n
  5. Configure IPv4？：y
  6. Interface name：无需输入，直接回车
  7. IPv4 Address： 192.168.224.10/24
  8. Configure IPv6？：n
  9. Configure failover settings？（配置故障转移设置）：n
  10. 如图：
3. 配置 em1：NAT 模式。相关配置可参考 “《虚拟机的三种网络连接模式》” 中的 “一”
  1. Select an interface：1，选择 em0
  2. Delete interface？：n
  3. Remove the current settings of this interface？：n
  4. Configure interface for DHCP？：n
  5. Configure IPv4？：y
  6. Interface name：无需输入，直接回车
  7. IPv4 Address： 192.168.128.80/24
  8. Configure IPv6？：n
  9. Configure failover settings？（配置故障转移设置）：n
  10. 如图：

二、组建 IP-SAN

登录 WebUI 用户界面：使用 NAT 模式的地址。如：http://192.168.128.80/
添加 Zvol
1. 在首页左侧菜单中，选择 “存储”——“池”，在右侧页面中找到 “《2. 组建 NAS 文件共享网络》” 中 “一.4” 创建的数据集，点击其右侧的竖三点，选择 ”添加 Zvol“，如图：
2. 添加 Zvol 页：配置如下
  1. Zvol 名称：自定义。如：TestZvol
  2. 此 zvol 的大小：自定义，但不能超过所在数据集。如：20 GB
  3. 同步：Standard
  4. 压缩级别：lz4
  5. ZFS 重复数据删除：关
  6. 其他选项：采用默认配置
  7. 如图：
3. 点击 “提交” 按钮后，结果如图：
在首页左侧菜单中，选择 “服务” 选项，在右侧页面的列表中找到 “iSCSI” 服务，打开对应的 “运行” 列的按钮，勾选对应的 “自动启动” 的多选框。如图：
在首页左侧菜单中，选择 “共享”——“块共享（iSCSI）”，进行如下配置
1. Target Global Configuration（目标全局配置）
  1. 基本名称：自定义
2. Portals（入口）标签页：设置 True NAS 存储网络的 IP 地址，用于接收外部网络用户访问存储资源入口地址
  1. 点击右上方的 “添加” 按钮。如图：
  2. 添加页
    1. IP 地址：NAT 模式地址。如：192.168.128.80
    2. 其他选项：采用默认配置
    3. 如图：
  3. 点击 “提交” 按钮后，结果如图：
3. Initiators Groups（门户组）页：配置允许哪些用户从哪些网络发起 iSCSI 访问
  1. 点击右上方的 “添加” 按钮。如图：
  2. 添加页
    1. 勾选 “允许所有启动器”
    2. 如图：
  3. 点击 “保存” 按钮后，结果如图：
4. Authorized Access（授权访问）页：配置授权访问的用户组信息
  1. 点击右上方的 “添加” 按钮。如图：
  2. 添加页
    1. 群组模块
      1. 群组 ID：自定义，仅限数组。如：1000
    2. 用户模块
      1. 用户：即用户名，自定义。如：guojinchao
      2. 秘密、秘密（确认）：即密码，自定义，需超过 12 位
    3. 对等用户模块：不填
    4. 如图：
  3. 点击 “提交” 按钮后，结果如图：
5. 目标页
  1. 点击右上方的 “添加” 按钮。如图：
  2. 添加页
    1. 基本信息模块
      1. 目标名称：自定义，不能有大写字母，建议以 iqn 开头。如：iqn.test.target
    2. iSCSI 组
      1. 门户组 ID：“二.4.3” 创建的数据的 ID
      2. 启动器组 ID：1（ALL Initiators Allowed）
      3. 身份验证方法：CHAP
      4. 身份验证组号：“二.4.4” 创建的数据的 ID
    3. 如图：
  3. 点击 “提交” 按钮后，结果如图：
6. Extents（扩展范围）页：配置访问用户所访问的资源类型及路径
  1. 点击右上方的 “添加” 按钮。如图：
  2. 添加页
    1. 基本信息模块
      1. 名称：自定义。如：extend0
    2. 类型模块
      1. 区块类型：设备
      2. 设备：“二.2” 中添加的 Zvol。如：ZFSdisk/ShareDS/TestZvol (20.0G)
    3. 其他选项：采用默认配置
    4. 如图：
  3. 点击 “提交” 按钮后，结果如图：
7. Associated Targets（关联目标）页：关联前面的配置
  1. 点击右上方的 “添加” 按钮。如图：
  2. 添加页
    1. 目标：“二.4.5” 创建的数据名称
    2. 区块：“二.4.6” 创建的数据名称
    3. 其他选项：采用默认配置
    4. 如图：
  3. 点击 “提交” 按钮后，结果如图：

MSCS 群集环境搭建

前提：

Windows 镜像版本：cn_windows_server_2016_x64_dvd_9718765.iso
True NAS 镜像版本：TrueNAS-12.0-U2.1.iso

一、群集系统规划

整体环境配置：群集节点 * 2、域控制器 * 1、NAS 存储阵列 * 1
网卡配置信息：要求群集内所有节点都登录同一个域，并由域控制器建立群集管理账户，对节点进行统一管理

节点	操作系统	网卡类型	网卡命名	IP 地址	备注
群集节点 1	Windows Server 2016	公共网卡	Public	192.168.128.101	静态 IP。连接公共网络提供服务
		心跳网卡	Private	10.1.1.2	静态 IP。内部网络提供心跳功能
		群集网卡	对外	192.168.128.108	群集内所有节点对外的虚拟网卡
		群集网卡	对内	10.1.1.10	群集内所有节点对内的虚拟网卡
群集节点 2	Windows Server 2016	公共网卡	Public	192.168.128.102	静态 IP。连接公共网络提供服务
		心跳网卡	Private	10.1.1.3	静态 IP。内部网络提供心跳功能
		群集网卡	对外	192.168.128.108	群集内所有节点对外的虚拟网卡
		群集网卡	对内	10.1.1.10	群集内所有节点对内的虚拟网卡
域控制器	Windows Server 2016	公共网卡		192.168.128.106	域控制器同时作为 DNS 服务器
NAS 存储阵列	True NAS 12	公共网卡		192.168.128.80	之前创建好的 True NAS 服务器

主机名、域名等规划

节点	主机名	域名	用户名	密码	群集名
节点 1	NODEA	NODE1.HA.COM	Administrator	复杂密码	CLUSTER
节点 2	NODEB	NODE2.HA.COM	Administrator	复杂密码	CLUSTER
域控制器	ha	ha.com	Administrator	复杂密码
群集账户			cluster	复杂密码

磁盘规划

服务器	磁盘 1	磁盘 2	备注
各节点	C 盘，系统盘		根据实际需求，可以动态调整
NAS 磁盘阵列	仲裁盘 Q，标签为 Quroum	数据共享盘 R，标签为 Work	磁盘为主分区且为活动状态

二、【在群集节点 1、群集节点 2 上操作】群集环境部署——创建群集节点

先准备 1 台 Windows Server 2016 的虚拟机作为 “群集节点 1”，并添加 1 个 NAT 模式的网络适配器
重新生成 SID：此操作会重置系统
1. 打开路径：C:\Windows\System32\Sysprep
2. 运行 sysprep 应用程序
3. 在弹出的 “系统准备工具” 弹框中，勾选 “通用”，点击 “确定” 按钮
4. 如图：
5. 等待程序运行完成后，会自动重启。如图：
6. 重启完成后，会进入引导界面，进行如下操作：
  1. 你好页：采用默认配置，直接点击 “下一步” 按钮。如图：
  2. 许可条款页：直接点击 “接受” 按钮。如图：
  3. 自定义设置页
    1. 密码、重新输入密码：自定义
    2. 点击 “完成” 按钮。如图：
7. 输入设置的 Administrator 的密码，进行登录
  1. 如登录成功后长时间黑屏，可以重启虚拟机
关闭防火墙
1. 启动 “群集节点 1” 并登录，进入桌面后，右键右下角的 “网络” 图标，选择 “打开网络和共享中心”。如图：
2. 在弹出的 “网络和共享中心” 弹框中，点击左下角的 “Windows 防火墙” 选项。如图：
3. 在左侧菜单中，选择 “启用或关闭 Windows 防火墙” 选项。如图：
4. 在 “自定义各类网络的设置” 页面，进行如下配置
  1. 专用网络设置：关闭 Windows 防火墙
  2. 公共网络设置：关闭 Windows 防火墙
  3. 如图：
配置网络
1. 右键右下角的 “网络” 图标，选择 “打开网络和共享中心”。在弹出的 “网络和共享中心” 弹框中，点击左侧的 “更改适配器设置” 选项。如图：
2. 在弹出的 “网络连接” 弹框中，进行如下配置：
  1. 右键 Ethernet0 网络，选择 “重命名” 选项，将名称改为 private。如图：
  2. 右键 Ethernet1 网络，选择 “重命名” 选项，将名称改为 public。如图：
  3. 配置 private 网络
    1. 右键 private 网络，选择 “属性” 选项。如图：
    2. 在弹出的 “属性” 弹框中，双击 “网络” 标签页中下方列表中的 “Internet 协议版本 4（TCP/IPv4）” 选项，打开 “Internet 协议版本 4（TCP/IPv4）属性” 弹框。点击 “常规” 标签页右下角的 “高级” 按钮。如图：
    3. 在弹出的 “高级 TCP/IP 设置” 弹框中，选择 “DNS” 标签页，取消勾选 “附加主 DNS 后缀的父后缀” 选项。如图：
    4. 在 “高级 TCP/IP 设置” 弹框中，选择 “WINS” 标签页，在下方的 “NetBIOS 设置” 模块中，选择 “禁用 TCP/IP 上的 NetBIOS” 选项，然后点击 “确定” 按钮。如图：
    5. 回到 “Internet 协议版本 4（TCP/IPv4）属性” 弹框，进行如下配置
      1. 选择 “使用下面的 IP 地址”
      2. IP 地址：参考 “一.2” 中规划的对应 IP。如：10.1.1.2
      3. 子网掩码：255.0.0.0
      4. 其余选项：采用默认设置
      5. 如图：
  4. 配置 public 网络
    1. 右键 public 网络，选择 “属性” 选项
    2. 在弹出的 “属性” 弹框中，双击 “网络” 标签页中下方列表中的 “Internet 协议版本 4（TCP/IPv4）” 选项，打开 “Internet 协议版本 4（TCP/IPv4）属性” 弹框，进行如下配置
      1. 选择 “使用下面的 IP 地址”
      2. IP 地址：参考 “一.2” 中规划的对应 IP。如：192.168.128.101
      3. 子网掩码：255.255.255.0
      4. 首先 DNS 服务器：参考 “一.2” 中规划的域控制器的公共网卡的 IP。如：192.168.128.106
      5. 其余选项：采用默认设置
      6. 如图：
关闭 “群集节点 1”，基于其克隆出 “群集节点 2”，启动 “群集节点 2” 并登录，参考 “三.2 ~ 三.4” 进行配置。其中，将 private 与 public 的 IP 地址改为 “一.2” 中规划的对应 IP
关闭 “群集节点 1”、“群集节点 2”

三、【在 NAS 存储阵列上操作】群集环境部署——创建 NAS 存储阵列

创建 “NAS 存储阵列”：参考 “《1. KVM 安装、配置及虚拟机创建》” + “《2. 组建 NAS 文件共享网络》” + “《3. 使用 True NAS 组建 IP-SAN》”
其中，在 “《3. 使用 True NAS 组建 IP-SAN》” 的操作中，有区别的步骤如下
1. “二.2.2” 步骤中，添加 2 个 Zvol，配置如下
  1. Zvol 名称：分别为 Quroum、Work
  2. 此 zvol 的大小：均为 1 GB
  3. 其他选项相同
  4. 如图：
2. “二.4.6” 步骤中，添加 2 个 Extents，配置如下
  1. 基本信息模块
    1. 名称：分别为 Quroum、Work
  2. 类型模块
    1. 区块类型：设备
    2. 设备：“三.2.1” 中添加的对应 Zvol
  3. 如图：
3. “二.4.7” 步骤中，添加 2 个 Associated Targets，配置如下
  1. 目标：“《3. 使用 True NAS 组建 IP-SAN》” 中 “二.4.5” 创建的数据名称（2 个 Associated Targets 的目标均为同一个）
  2. 区块：“三.2.2” 中添加的对应 Extents
  3. 如图：

四、【在群集节点 1、群集节点 2 上操作】群集环境部署——设置共享磁盘

配置 “群集节点 1”
1. 启动 “群集节点 1” 并登录，进入桌面后，点击任务栏左侧的 “搜索” 图标，输入 “iscsi”，点击搜索到的 “iSCSI 发起程序”。如图：
2. 参考 “《4. Windows 系统连接 IP-SAN》” 中的 “一.3 ~ 一.8”，连接 IP-SAN。其中 “一.5.4.1.1” 与 “一.7.1.1.2” 的发起程序 IP 为对应群集节点的公共网卡 IP
3. 点击任务栏左侧的 “文件资源管理器” 图标，在打开的 “文件资源管理器” 窗口中，右键左侧列表中的 “此电脑”，选择 “管理” 选项。如图：
4. 在打开的 “服务器管理器” 窗口中，在左侧菜单中选择 “文件和存储服务”。如图：
5. 在左侧菜单中，选择 “卷”——“磁盘”。可在右侧列表中看到 2 个 1 GB 容量，名称为 TrueNAS iSCSI Disk 的磁盘，即为 “三” 中创建的 NAS 磁盘阵列。分别右键两个磁盘，选择 “联机” 选项。如图：
  1. 在弹出的 “使磁盘联机” 的弹框中，选择 “是”。如图：
6. 两个磁盘均联机完成后，再分别右键两个磁盘，选择 “新建卷” 选项，在弹出的 “新建卷” 弹框中，进行如下操作
  1. 开始之前：直接点击 “下一步” 按钮
  2. 服务器和磁盘：采用默认设置，直接点击 “下一步” 按钮。如图：
    1. 在弹出的 “脱机或未初始化的磁盘” 弹框中，选择 “是”。如图：
  3. 大小：采用默认设置，直接点击 “下一步” 按钮。如图：
  4. 驱动器号或文件夹
    1. 驱动器号：分别选择 “Q” 和 “R”
    2. 如图：
  5. 文件系统设置
    1. 卷标：驱动器号为 “Q” 则取名为 “Quroum”，驱动器号为 “R” 则取名为 “Work”
    2. 其余选项：采用默认配置
    3. 如图：
  6. 确认：直接点击 “创建” 按钮
  7. 结果：等任务列表中的任务均完成后，点击 “关闭” 按钮。如图：
7. 两个磁盘新建卷均完成后，如图：
8. 在 “文件资源管理器” 窗口中，点击左侧列表中的 “此电脑”，可在右侧界面看到刚创建的两个磁盘。如图：
9. 可在其中一个磁盘中新建一个文件，以方便在配置 “群集节点 2” 时用来区分两个磁盘
配置 “群集节点 2”
1. 关闭 “群集节点 1”，启动 “群集节点 2”，进行同样的操作，且驱动器号与卷标要与 “群集节点 1” 保持一致（要保证同一时间只有一个直接连接了磁盘阵列）
2. 将两个磁盘联机完成后，会发现因为在 “群集节点 1” 中已经进行了新建卷的操作，所以可以直接使用，无需再进行 “新建卷” 的操作。但卷标是对的，驱动器号不对，所以需要修改驱动器号
  1. 先在 “文件资源管理器” 窗口中，点击左侧列表中的 “此电脑”，分别打开右侧界面中的两个磁盘，查看 “四.1.9” 中创建的文件，以区分磁盘
3. 在 “服务器管理器” 窗口中，选择 “卷”——“磁盘”，在右侧界面上方 “磁盘” 列表中选中对应磁盘，在左下方的 “卷” 列表中，右键对应磁盘，选择 “管理驱动器号和访问路径”。如图：
4. 在弹出的 “管理驱动器号和访问路径” 弹框中，选择正确的驱动器号，点击 “确定” 按钮。如图：
5. 修改完两个磁盘的驱动器号后，在 “文件资源管理器” 窗口中，点击左侧列表中的 “此电脑”，在右侧界面中验证修改结果。如图：

五、【在域控制器上操作】创建域服务器

更改服务器计算机名称
1. 打开服务器管理器：打开 “开始菜单”，点击右侧的 “服务器管理器” 选项。如图：
2. 服务器管理器界面：选择左侧菜单中的 “本地服务器”，点击右侧页面中的计算机名。如图：
3. 在弹出的 “系统属性” 弹框中，选择 “计算机名” 标签页，点击右侧中间位置的 “更改” 按钮。如图：
4. 在弹出的 “计算机名 / 域更改” 弹框中，进行如下配置
  1. 计算机名：da
  2. 其余配置：采用默认配置
  3. 点击右下角的 “确定” 按钮。如图：
  4. 在弹出的 “计算机名 / 域更改” 弹框中，点击 “确定” 按钮。如图：
5. 回到 “系统属性” 弹框中，点击下方的 “关闭” 按钮。如图：
6. 在弹出的 “Microsoft Windows” 弹框中，选择 “立即重新启动” 选项。如图：
7. 重启完成后，在服务器管理器的 “本地服务器” 页面，可看到更改后的计算机名。如图：
修改 IP 地址：参考 “一.2” 中的规划（如：192.168.128.106），按照 “二.3” 的步骤进行操作。其中，DNS 为 127.0.0.1。如图：
添加角色
1. 服务器管理器界面：点击右上角的 “管理” 选项，在下拉列表中选择 “添加角色和功能” 选项。如图：
2. 在弹出的 “添加角色和功能向导” 弹框中，进行如下配置
  1. 开始之前：直接点击 “下一步” 按钮
  2. 安装类型：基于角色或基于功能的安装。如图：
  3. 服务器选择：采用默认配置。如图：
  4. 服务器角色
    1. 勾选 “Active Directory 域服务”。如图：
    2. 在弹出的 “添加角色和功能向导” 弹框中，点击 “添加功能” 按钮。如图：
  5. 功能：采用默认配置，直接点击右下方的 “下一步” 按钮。如图：
  6. AD DS：直接点击右下方的 “下一步” 按钮
  7. 确认
    1. 勾选 “如果需要，自动重新启动目标服务器”
    2. 在弹出的 “添加角色和功能向导” 弹框中，选择 “是”。如图：
    3. 点击右下方的 “安装” 按钮。如图：
  8. 等待安装完成，安装完成后，点击 “关闭” 按钮即可。如图：
配置域控制器
1. 升为域控制器：服务器管理器界面：点击右上角的 “通知” 图标，在下拉列表中点击 “部署后配置” 模块中的 “将此服务器提升为域控制器” 选项。如图：
2. 在弹出的 “Active Directory 域服务配置向导” 弹框中，进行如下配置
  1. 部署配置
    1. 选择部署操作：添加新林
    2. 根域名：参考 “一.3”192.168.128.106。如：ha.com
    3. 如图：
  2. 域控制器选项：
    1. 键入目录服务器还原模式密码
      1. 密码、确认密码：自定义（复杂密码）
    2. 如图：
  3. DNS 选项：无需理会警告，直接点击 “下一步” 按钮。如图：
  4. 其他选项
    1. NetBIOS 域名：HA
    2. 如图：
  5. 路径：可采用默认配置，也可修改为其他路径（正式环境建议改为合适的非 C 盘路径）。如图：
  6. 查看选项：直接点击 “下一步” 按钮
  7. 先决条件检查：直接点击 “安装” 按钮。如图：
  8. 安装完成后会自动重启，重启完成后，在服务器管理器的 “本地服务器” 页面，可看到更改后的域。如图：

六、【在群集节点 1、群集节点 2 上操作】将群集节点加入 HA.COM 域

群集节点 1
1. 启动群集节点 1，进入服务器管理器界面，选择左侧菜单中的 “本地服务器”，点击右侧页面中的计算机名
2. 在弹出的 “系统属性” 弹框中，选择 “计算机名” 标签页，点击右侧中间位置的 “更改” 按钮。在弹出的 “计算机名 / 域更改” 弹框中，进行如下配置
  1. 计算机名：nodea
  2. 隶属于：域
    1. 域：ha.com
  3. 点击右下角的 “确定” 按钮。如图：
  4. 在弹出的 “计算机名 / 域更改” 弹框中，输入域控制器的登录账号和密码。如图：
  5. 校验成功后，会弹出一个欢迎加入域的对话框，点击 “确认” 按钮即可。如图：
  6. 点击 “计算机名 / 域更改” 弹框的 “确定” 按钮时，会弹出一个错误弹框，内容为 “将该计算机的主域 DNS 名称更改为 “” 失败...”，不用管，点击 “确定” 按钮即可。如图：
    1. 此为操作系统的一个缺陷，但不影响加域操作。报错的原因是，当一台计算机成功加域之后，系统会试图去更改这台计算机的 “此计算机的主 DNS 后缀” 这个选项，但是这时这个主 DNS 后缀已经是正确的了，故会报此错误
  7. 在弹出的要求重启的弹框中，点击 “确定” 按钮。如图：
3. 回到 “系统属性” 弹框中，点击下方的 “关闭” 按钮。在弹出的 “Microsoft Windows” 弹框中，选择 “立即重新启动” 选项
4. 重启完成后，在服务器管理器的 “本地服务器” 页面，可看到加入的域。如图：
群集节点 2：参考 “六.1”，无需关闭 “群集节点 1”

七、【在域控制器上操作】建立用于启动群集服务的域账户

进入服务器管理器界面，选择左侧菜单中的 “AD DS”，在右侧页面中找到 “服务器” 列表，右键其中的服务器 “DA”，选择 “Active Directory 用户和计算机”。如图：
在弹出的 “Active Directory 用户和计算机” 弹框中，展开左侧菜单中的 “ha.com” 选项，右键其下的 “Users” 选项，选择 “新建”——“用户”。如图：
在弹出的 “新建对象 - 用户” 弹框中，参考 “一.3” 中的规划，进行如下配置
1. 第 1 个页面
  1. 姓：cluster
  2. 名：server
  3. 用户登录名：cluster
  4. 其他选项：采用默认配置（自动填写的不用动）
  5. 如图：
2. 第 2 个页面
  1. 密码、确认密码：自定义（复杂密码）
  2. 取消勾选 “用户下次登录时须更改密码”
  3. 勾选 “用户不能更改密码”
  4. 勾选 “密码永不过期”
  5. 其他选项：采用默认配置
  6. 如图：
3. 第 3 个页面：直接点击 “” 按钮即可。如图：
在 “Active Directory 用户和计算机” 弹框中，点击 “ha.com”——“Users” 选项，可在右侧看到刚创建的用户。如图：

八、【在群集节点 1、群集节点 2 上操作】创建群集服务

关闭节点 2，保持节点 1、域控制器、NAS 存储阵列处于启动状态
安装故障转移群集功能
1. 服务器管理器界面：点击右上角的 “管理” 选项，在下拉列表中选择 “添加角色和功能” 选项。如图：
2. 在弹出的 “添加角色和功能向导” 弹框中，进行如下配置
  1. 开始之前：直接点击 “下一步” 按钮
  2. 安装类型：基于角色或基于功能的安装。如图：
  3. 服务器选择：采用默认配置。如图：
  4. 服务器角色：采用默认配置，直接点击右下方的 “下一步” 按钮。如图：
  5. 功能
    1. 勾选 “故障转移群集”。如图：
    2. 在弹出的 “添加角色和功能向导” 弹框中，点击 “添加功能” 按钮。如图：
  6. 确认
    1. 勾选 “如果需要，自动重新启动目标服务器”
    2. 在弹出的 “添加角色和功能向导” 弹框中，选择 “是”。如图：
    3. 点击右下方的 “安装” 按钮。如图：
  7. 等待安装完成，安装完成后，点击 “关闭” 按钮即可
配置故障转移群集管理器
1. 服务器管理器界面：点击右上角的 “工具” 选项，在下拉列表中选择 “故障转移群集管理器” 选项。如图：
2. 在弹出的 “故障转移群集管理器” 弹框中，右键左侧菜单中的 “故障转移群集管理器”，选择 “创建群集” 选项。如图：
3. 在弹出的 “创建群集向导” 弹框中，进行如下配置
  1. 开始之前：直接点击右下方的 “下一步” 按钮
  2. 选择服务器
    1. 点击 “输入服务器名称” 选项右侧的 “浏览” 按钮。如图：
    2. 在弹出的 “选择计算机” 弹框的 “输入对象名称来选择” 选项中输入 “HA\nodea”，点击其右侧的 “检查名称” 按钮。如图：
    3. 在弹出的对话框中输入 nodea 对应服务器的用户名和密码，点击 “确定” 按钮。如图：
    4. 在弹出的 “关闭管理单元” 提示框中，选择 “取消” 选项。如图：
    5. 检查成功，则 “输入对象名称来选择” 选项中刚输入的内容会变为 “NODEA”。如图：
    6. 点击 “确定” 按钮后，在 “选定的服务器” 选项中，会出现刚添加的服务器，点击 “下一步” 按钮。如图：
  3. 验证警告：是。如图：
    1. 点击 “下一步” 按钮后，会弹出 “验证配置向导” 弹框，进行如下配置
      1. 开始之前：直接点击右下方的 “下一步” 按钮
      2. 测试选项：运行所有测试。如图：
      3. 确认：直接点击右下方的 “下一步” 按钮
      4. 正在验证：等待验证完成
      5. 摘要：验证完成后，会自动跳转到此步骤，直接点击 “完成” 按钮即可。如图：
  4. 用于管理群集的访问点
    1. 群集名称：参考 “一.3” 中规划的群集账户。如：cluster
    2. 网络列表
      1. 对外地址：参考 “一.2” 中规划的对外群集网卡。如：192.168.128.108
      2. 对内地址：参考 “一.2” 中规划的对内群集网卡。如：10.1.1.10
      3. 如图：
  5. 确认：直接点击右下方的 “下一步” 按钮
  6. 正在创建新群集：等待创建完成。如图：
  7. 摘要：群集创建完成后，会自动跳转到此步骤，直接点击 “完成” 按钮即可。如图：
4. 创建成功后，会在 “故障转移群集管理器” 弹框的左侧菜单中看到刚创建的 “cluster.ha.com” 群集，点击其下的 “节点” 选项，可在右侧界面中看到刚添加的 “nodea” 节点。如图：
将 “群集节点 2” 加入集群
1. 【在群集节点 2 上操作】启动 “群集节点 2” 并登录，参考 “八.2” 安装故障转移群集功能
2. 【在群集节点 1 上操作】在 “故障转移群集管理器” 弹框的左侧菜单中右键 “cluster.ha.com” 群集，选择 “添加节点” 选项。如图：
3. 【在群集节点 1 上操作】参考 “八.3.3” 进行操作，其中需注意的步骤为
  1. 选择服务器
    1. 点击 “输入服务器名称” 选项右侧的 “浏览” 按钮
    2. 在弹出的 “选择计算机” 弹框的 “输入对象名称来选择” 选项中输入 “HA\nodeb”，点击其右侧的 “检查名称” 按钮。如图：
    3. 在弹出的对话框中输入 nodeb 对应服务器的用户名和密码，点击 “确定” 按钮
    4. 在弹出的 “关闭管理单元” 提示框中，选择 “取消” 选项
    5. 检查成功，则 “输入对象名称来选择” 选项中刚输入的内容会变为 “NODEB”。如图：
  2. 点击 “确定” 按钮后，在 “选定的服务器” 选项中，会出现刚添加的服务器，点击 “下一步” 按钮。如图：
添加成功后，展开左侧菜单中的 “cluster.ha.com” 群集，点击其下的 “节点” 选项，可在右侧界面中看到 “nodea” 和 “nodeb” 两个节点。如图：

九、常见问题

问题：将群集节点加入域时，报错 “无法完成域加入，...SID 相同...”。如图：
1. 问题原因：因为克隆，导致 SID（Security ID）相同
2. 解决方法：参考 “二.4”
使用 “故障转移群集管理器” 创建完群集，关闭后再次打开，群集不见了。如图：
1. 问题原因：群集还在，只是没有连接而已
2. 解决方法：
  1. 在左侧菜单中右键 “故障转移群集管理器”，选择 “连接到群集” 选项。如图：
  2. 在弹出的 “选择群集” 弹框中，进行如下配置
    1. 群集名称：<此服务器上的群集...>
    2. 点击 “确认” 按钮。如图：
  3. 连接成功后，即可在左侧菜单中看到之前创建的群集。如图：

使用 GlusterFS 创建集群 NAS

前提：

CentOS 版本：CentOS-7-x86_64-Minimal-2009.iso

一、规划

规划如下：

IP 类型	IP 地址	作用说明
Single IP	192.168.128.120	后面由 LVS 使用，对外提供单一 IP 访问
Public IP	192.168.128.121	用于外部访问，或者提供给 LVS 进行负载均衡
Private IP	192.168.128.122	用于内部访问、heartbeat 及集群内部通信

二、【在 gluster_node1 上操作】环境准备 + 安装配置

准备一台虚拟机，修改 IP 地址
设置主机名
1. 命令：hostnamectl set-hostname gluster_node1
2. 重启虚拟机：reboot
3. 验证：hostname
关闭防火墙
1. 暂时关闭：systemctl stop firewalld
2. 永久关闭：systemctl disable firewalld
关闭 SELinux
1. 暂时关闭：setenforce 0
2. 永久关闭：vi /etc/selinux/config
  1. 将 SELINUX=enforcing 改为 SELINUX=disabled
安装 vim：yum install -y vim
安装 flex、bison：yum install -y flex bison
安装 GlusterFS 源：yum install -y centos-release-gluster
安装 GlusterFS：yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
启动 Gluster 服务：systemctl start glusterd && systemctl start glusterfsd
设置 Gluster 服务开机自启动：systemctl enable glusterd && systemctl enable glusterfsd
创建数据存储目录：mkdir -p /opt/gluster/data
创建集群目录：mkdir -p /opt/gluster/nas
创建集群 NAS 数据目录：mkdir -p /opt/gluster/nasdata
创建 CTDB 所使用目录：mkdir -p /opt/gluster/replica
关闭此虚拟机，基于此虚拟机克隆 2 台虚拟机，并修改 IP 地址
设置主机名
1. 第 1 台虚拟机：hostnamectl set-hostname gluster_node2
2. 第 2 台虚拟机：hostnamectl set-hostname gluster_node3
3. 重启虚拟机：reboot
4. 验证：hostname
配置 IP 地址映射
1. 启动 gluster_node1，打开配置文件：vim /etc/hosts
2. 在末尾添加 3 台虚拟机的配置。如：

192.168.128.120 gluster_node1
192.168.128.121 gluster_node2
192.168.128.122 gluster_node3

1. 1. 如图：
2. 验证（ping 通后显示的 IP 地址也需要对应正确）：ping [主机名]。如：ping gluster_node2
3. 分发给其他节点
  1. 分发给 gluster_node2：scp /etc/hosts gluster_node2:/etc
  2. 分发给 gluster_node3：scp /etc/hosts gluster_node3:/etc
4. 【在 gluster_node2、gluster_node3 上操作】验证：在 gluster_node2、gluster_node3 节点上，参考 “一.13.3” ping 其他节点
将节点加入集群
1. gluster_node1：gluster peer probe 192.168.128.120
2. gluster_node2：gluster peer probe 192.168.128.121
3. gluster_node3：gluster peer probe 192.168.128.122
4. 如图：
查看集群状态：gluster peer status。如图：
创建一个卷并进行 mount 测试：gluster volume create testvol 192.168.128.120:/opt/gluster/data 192.168.128.121:/opt/gluster/data 192.168.128.122:/opt/gluster/data force。如图：

三、【在 gluster_node1 上操作】启动并查看状态

启动卷：gluster volume start testvol。如图：
查看卷状态：gluster volume status testvol。如图：
挂载文件系统：mount -t glusterfs 192.168.128.120:/testvol /mnt
查看挂载情况：df -h。如图：
查看卷信息：gluster volume info。如图：

四、【在 gluster_node1 上操作】安装配置高可用集群 NAS

创建 replica：gluster volume create replica 192.168.128.120:/opt/gluster/nas force
创建 ctdb（无需提前创建目录）：gluster volume create ctdb 192.168.128.120:/opt/gluster/ctdb force
创建 nas（无需提前创建目录）：gluster volume create nas 192.168.128.120:/opt/gluster/lock force
启动 replica：gluster volume start replica
启动 ctdb：gluster volume start ctdb
启动 nas：gluster volume start nas
【分别在 gluster_node1、gluster_node2、gluster_node3 上操作】挂载 nas 卷：mount -t glusterfs 192.168.128.120:/nas /opt/gluster/nasdata
【分别在 gluster_node1、gluster_node2、gluster_node3 上操作】挂载 ctdb 卷：mount -t glusterfs 192.168.128.120:/ctdb /opt/gluster/replica
【分别在 gluster_node1、gluster_node2、gluster_node3 上操作】查看挂载情况：df -h。如图：
【分别在 gluster_node1、gluster_node2、gluster_node3 上操作】查看卷信息：gluster volume info。如图：

2201_75860183

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
云存储技术与应用

之前创建好的 True NAS 服务器。连接公共网络提供服务。内部网络提供心跳功能。连接公共网络提供服务。内部网络提供心跳功能。域控制器同时作为 DNS 服务器。仲裁盘 Q，标签为 Quroum。数据共享盘 R，标签为 Work。群集内所有节点对外的虚拟网卡。群集内所有节点对内的虚拟网卡。群集内所有节点对外的虚拟网卡。群集内所有节点对内的虚拟网卡。根据实际需求，可以动态调整。磁盘为主分区且为活动状态。
复制链接

扫一扫