三台服务器虚拟化连接两台存储柜,用三台GEN8打造一个分布式分层存储-软件篇...

本帖最后由 larryexchange 于 2017-1-22 21:44 编辑

如果说硬件是躯干的话，那软件就是灵魂了。继“用三台GEN8打造一个分布式分层存储-硬件篇”(https://www.chiphell.com/thread-1212326-1-1.html)之后，先奉上真正将一堆硬件转化为真正的分布式分层存储。

分布式存储的方案很多，有swift这样的对象存储，也有cinder(https://wiki.openstack.org/wiki/Cinder)这样的块存储。这里我将用新一代Windows Server(codename: Threshold)中内置的分布式存储功能(Shared Nothing Storage)来打造。

下面是软硬件及网络的简单介绍

--------------------------------

硬件部分：三台GEN8，每台配置如下：

CPU: E3-1230V2

内存： 16GB

系统盘： Seagate Pulsar.2 200GB

SSD层：LSI Nytro WrapDrive 400GB PCIe SSD (100GB x 4)

HDD层：Seagate 7200转 2TB HDD x 2网络：Netgear JGS524E 24口简单网管交换机，具备端口聚合能力。

软件部分：Windows Server Threshold Technical Preview

概念和逻辑架构

-----------------

下面是这个分布式存储的概念示意图：

1.jpg (89.08 KB, 下载次数: 7)

2015-1-7 22:29 上传

上面图中的三个方框就是三台GEN8啦，红框框之上的就是使用这个存储的应用或者虚拟化软件了。示意图中每个节点有两块磁盘但通过个部署Shared Nothing Storage的群集，每个节点的Storge Space的存储池中都能看到这个群集中所有节点上的所有磁盘，从而形成一个软件的共享存储总线(Windws Server 2012 R2或更早的版本都要求硬件共享存储)。然后在这个存储池中可以建立一个或多个虚拟磁盘。这些虚拟磁盘对外提供的服务事实上有很多种，包括SMB文件共享、iSCSI等等。

安装和配置步骤

-----------------

首先当然是在三台GEN8上都安装上Windows Server Threshold的操作系统软件，Windows Server的系统相信傻瓜都会安装。一路下一步就对了。不过作为Windows故障转移群集需要加入域工作，这点不要忘记。

此时查看每台GEN8上的服务器管理器还只能看到本机的4块SSD和2块HDD

2.png (199.4 KB, 下载次数: 5)

2015-1-7 22:52 上传

接着在每台GEN8上安装文件服务器角色和故障转移群集角色。并按照要求重启服务器。然后就是创建群集了。这里为了方便我用PowerShell命令行描述省得要做很多截屏。

#Create cluster

New-Cluster –Name CLUSTER-MSG8-1 –Node server-msg8-1,server-msg8-2,server-msg8-3 –NoStorage

# Set cluster properties

(Get-Cluster).DASModeEnabled=1复制代码

此时，打开每台GEN8的服务管理器，可以看到三台GEN8上面所有的12块SSD和6块HDD。

3.png (251.75 KB, 下载次数: 9)

2015-1-7 22:52 上传

接着我们就可以创建存储池了。

#Create storage pool and define storage tiers

New-StoragePool -StorageSubSystemFriendlyName *clustered* -FriendlyName Pool1 -EnclosureAwareDefault $true -AutoWriteCacheSize $true -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror -PhysicalDisk (Get-PhysicalDisk | ? CanPool -eq $true)复制代码

然后创建SSD和HDD的分层

New-StorageTier -StoragePoolFriendlyName Pool1 -FriendlyName SSDTier -MediaType SSD

New-StorageTier -StoragePoolFriendlyName Pool1 -FriendlyName HDDTier -MediaType HDD复制代码

当然你也可以通过图形化界面来创建上面的存储池，如下面的步骤：

4.png (186.02 KB, 下载次数: 8)

2015-1-7 22:58 上传

5.png (302.79 KB, 下载次数: 7)

2015-1-7 22:58 上传

不过如果你是通过图形化界面创建的存储池，还需要在PowerShell命令行中运行下面的命令来设置一些界面上没有的属性。

Get-StoragePool -FriendlyName pool1 | Set-StoragePool -EnclosureAwareDefault $true -AutoWriteCacheSize $true -ProvisioningTypeDefault Fixed -ResiliencySettingNameDefault Mirror复制代码

创建好的存储是长这个样子的

6.png (181.85 KB, 下载次数: 9)

2015-1-7 23:01 上传

如果看物理磁盘的那页能看到所有的18块磁盘

7.png (246.95 KB, 下载次数: 6)

2015-1-7 23:01 上传

有了存储池以后就是在上面创建虚拟磁盘了。

#Set ReFS Format Version

invoke-command -ComputerName server-msg8-1,server-msg8-2,server-msg8-3 {REG ADD HKLM\System\CurrentControlSet\Control\FileSystemUtilities /v RefsFormatVersion /t REG_DWORD /d 2 /f}

#Create virtual disks

$ssd = Get-StorageTier -FriendlyName SSDTier

$hdd = Get-StorageTier -FriendlyName HDDTier

New-Volume -StoragePoolFriendlyName Pool1 -FriendlyName VD1 -PhysicalDiskRedundancy 1 -FileSystem CSVFS_REFS -StorageTiers $ssd, $hdd -StorageTierSizes 340GB, 3800GB

#Disable ReFS Integrity Streams

set-fileintegrity C:\ClusterStorage\Volname1 –Enable $false复制代码

程序执行完以后的截图

11.jpg (181.93 KB, 下载次数: 9)

2015-1-7 23:10 上传

此时看群集管理器中，可以看到新建的虚拟磁盘。从下面的图中我们能够看到这个虚拟磁盘采用的是镜像，Column是2，条带是256KB。

12.jpg (84.9 KB, 下载次数: 8)

2015-1-7 23:13 上传

更多有关该虚拟磁盘的详细信息可以通过PowerShell命令行看到。

13.jpg (133.41 KB, 下载次数: 8)

2015-1-7 23:16 上传

我们还能看到这块虚拟磁盘SSD层和HDD层中的空间大小

14.jpg (119.13 KB, 下载次数: 7)

2015-1-7 23:21 上传

到此为止我们已经有了一部分布式的剧本冷热数据分层的存储。

后续有时间的时候我还会再奉上应用篇及性能测试。不过那个部分同2012和2012 R2上的Storage Space就没有大的分别了。