SMTX OS 基于 VMware 虚拟化融合部署

概述

SmartX 的分布式块存储 ZBS 可以与 VMware 虚拟化在同一节点上以超融合方式部署。

原理：

1. 使用该种架构时，SMTX OS 运行在 ESXi 上的虚拟机内，称为 SCVM
2. 计算虚拟化服务则由 VMware ESXi 提供
3. ESXi 通过将 RAID 卡（HBA/JBOD 模式）直通给 SCVM，服务器上的所有硬盘将被 SCVM 接管并提供分布式块存储服务

实验环境

使用的软件：

SMTXOS-5.0.2-el7-2201071258-x86_64 — SCVM

VMware-VMvisor-Installer-7.0U3c-19193900.x86_64 — ESXi

SMX-ZBSNasPlugin_2.1-2 — ESXi NFS driver

硬件：

配件名称	配件型号	固件版本
CPU	Intel® Xeon® Gold 6234 CPU @ 3.30GHz(*1),Intel® Xeon® Silver 4210R CPU @ 2.40GHz(*2)	N/A
MEM	128 GB*3	N/A
Raid卡	Dell HBA330 Mini	16.17.00.05
SSD	INTEL:SSDSC2KG960G8R	N/A
HDD	TOSHIBA:AL15SEB24EQY	N/A

节点	IPMI	Kernel-ESXi管理(vmk0)	Kernel-Storage/vMotion(vmk1)	Kernel-NFS(vmk2)
esx-01	192.168.87.201/20	192.168.87.211/20	10.10.87.211/24	192.168.33.1/24
esx-02	192.168.87.202/20	192.168.87.212/20	10.10.87.212/24	192.168.33.1/24
esx-03	192.168.87.203/20	192.168.87.213/20	10.10.87.213/24	192.168.33.1/24

VM	SMTX管理	Storage	SMTX NFS
SCVM-01	192.168.87.216/20	10.10.87.216/24	192.168.33.2/24
SCVM-02	192.168.87.217/20	10.10.87.217/24	192.168.33.2/24
SCVM-03	192.168.87.218/20	10.10.87.218/24	192.168.33.2/24

实验逻辑图

逻辑架构

ESXi 拓扑

实验步骤

安装ESXi

• 按照设计安装ESXi，配置DNS Server：192.168.95.206；内部域名 smartx.lab
• 需要打开ESXi的ssh和shell

安装vCenter Server

在某一台ESXi上安装vCenter，过程 略

修改ESXi直通模式

1. 在每一个 ESXi 上运行如下命令：

esxcfg-advcfg -s 30 /NFS/HeartbeatTimeout
esxcfg-advcfg -s 64 /NFS/MaxVolumes
esxcfg-advcfg -s 0 /Misc/APDHandlingEnable
esxcfg-advcfg -s 32 /Net/TcpipHeapSize
esxcfg-advcfg -s 1536 /Net/TcpipHeapMax
esxcfg-advcfg -s 1 /UserVars/SuppressShellWarning

2. 查看磁盘控制器编号，在每台 ESXi 主机上执行

[root@esx-01:~] lspci -v |grep "HBA" -A 1 -B 1

0000:3b:00.0 Mass storage controller Serial Attached SCSI controller: Avago (LSI Logic) Dell HBA330 Mini [vmhba2]
         Class 0107: 1000:0097

3. 将上述编号添加到 /etc/vmware/passthru.map中

#Avago (LSI Logic) Dell HBA330 Mini [vmhba2]
1000  0097  d3d0     false

4. 使用 ESXi Web 连接到 ESXi。选择:配置-> 硬件-> PCI 设备-> 编辑-> （筛选HBA）勾选相应的HBA设备，选择更换直通，系统会提醒失败，重新引导。
   
5. 重启以后，直通模式已经改成功

安装NFS插件

1. 使用 VMware ESXi 7.0 U2 以及后续的版本，直接安装或升级至 2.1-2 版本
2. 检查当前 ESXi 主机是否已安装 VAAI-NAS 插件

   esxcli software vib list | grep -i zbs
   

3. 安装插件

[root@esx-01:~] /etc/init.d/vaai-nasd stop
vaai-nasd is not running
[root@esx-01:~] ls /
SMX-ZBSNasPlugin_2.1-2.zip  etc                         opt                         tardisks.noauto
altbootbank                 include                     proc                        tmp
bin                         lib                         productLocker               usr
bootbank                    lib64                       sbin                        var
bootpart.gz                 local.tgz                   scratch                     vmfs
bootpart4kn.gz              local.tgz.ve                store                       vmimages
dev                         locker                      tardisks
[root@esx-01:~] esxcli software component apply -d /SMX-ZBSNasPlugin_2.1-2.zip
Installation Result
  Components Installed: SMX-ZBSNasPlugin_1.0-0.0.0006
  Components Removed: 
  Components Skipped: 
  Message: Operation finished successfully.
  Reboot Required: false

4. 启动插件

[root@esx-01:~] /etc/init.d/vaai-nasd start
vaai-nasd started

5. 查看插件运行情况，并核对版本信息

[root@esx-01:~] esxcli software vib list | grep -i zbs
SMX-ESX-ZBSNasPlugin           2.1-2                                  SMX     VMwareAccepted    2022-04-27

配置ESXi网络

正如前面ESXi拓扑所示，我们需要在每个ESXi配置单个标准交换机来提供网络服务，其中管理用交换机延用vswitch0。

• 使用命令行配置交换机并用页面查看
• 生产环境尽量使用冗余上联链路

1. 创建标准交换机

#创建标准交换机
esxcli network vswitch standard add --vswitch-name=vSS-NFS
esxcli network vswitch standard add --vswitch-name=vSS-ZBS

#创建vmkernel 设置ip地址
esxcli network vswitch standard portgroup add --portgroup-name=NFS_VMkernel --vswitch-name=vSS-NFS
esxcli network ip interface add --interface-name=vmk1 --portgroup-name=NFS_VMkernel
esxcli network ip interface ipv4 set --interface-name=vmk1 --ipv4=192.168.33.1 --netmask=255.255.255.0 --type=static

esxcli network vswitch standard portgroup add --portgroup-name=ZBS_VMkernel --vswitch-name=vSS-ZBS
esxcli network ip interface add --interface-name=vmk2 --portgroup-name=ZBS_VMkernel
esxcli network ip