vSAN其实很简单-如何处理“vSAN磁盘写满”问题？

 最近处理了一些关于“vSAN磁盘被写满”和“vSAN被撑爆”的问题。关于存储被用满的问题一直以来经常发生，不仅包括传统存储，甚至是个人笔记本也经常出现“榨干最后一兆空间”的事情。针对vSAN而言，这类问题不仅和用户平时的使用习惯有关，也与用户对vSAN的理解有限有关，所以借这个机会正好来谈一谈。

 

vSAN本身有哪些措施来平衡磁盘的使用率？

=========================

    我们先说下vSAN本身有哪些机制来平衡vSAN磁盘的使用率。

• vSAN运行的过程中，在满足存储策略的前提下，vSAN会尽可能平均分布组件的存放位置，确保所有节点的所有磁盘的使用率大致相同。

（所有主机上的每个磁盘使用率基本相同）

 

• 在任何一个磁盘的使用率超过80%时都会触发vSAN主动进行数据平衡来尽可能平均所有磁盘的使用率。

   

• 在最大使用率磁盘和最小使用率磁盘差值超过30%，vSAN会提示可以手工触发磁盘平衡。

   

参考文档：

vSAN Health Service - Cluster health - vSAN disk balance (2144278)

vSAN Health Service - Physical Disk Health - Disk Capacity (2108907)

 

发生“vSAN磁盘写满”的原因？

=========================

    不过毕竟胳膊拧不过大腿，vSAN只能尽力确保磁盘使用率平衡。

（一个真实案例的vSAN磁盘写满的案例）

 

    发生“vSAN磁盘写满”主要是因为几个原因：

• 虚拟机overprovisioning

    用户在部署虚拟机时候没有进行太仔细的使用空间的规划，虽然部署时可以正常的进行下去，但是随时使用时间越来越长，实际占用的空间越来越大，最终把vSAN撑满。

 

• vSAN节点发生故障，但是vSAN没有足够的剩余空间去新建数据

    在发生硬件故障的场景下，例如主机离线，磁盘组离线甚至是网络分区，vSAN会在其他可用的节点上根据VM使用的存储策略重建数据副本。如果vSAN可用空间不够的话，那么在重建的过程中也会把vSAN撑满。

 

• vSAN平衡时候产生临时文件

    vSAN 在平衡时会产生一些临时文件，如果vSAN本身使用率就非常高的话，在进行磁盘平衡的时候有可能把vSAN用满。

 

• 用户忽略vSAN的告警

    一些用户没有定期检查vSAN健康检查的习惯，因此忽略了vSAN健康检查的告警，直到有一天创建VM时失败或者VM无法开机的时候才发现vSAN已经用满。

 

发生“vSAN磁盘写满”时对虚拟机有哪些影响？

=========================

• 无法新建虚拟机

• 现有虚拟机无法开机

• 无法迁移VM到vSAN上

•  Linux文件系统变为只读模式

• Windows蓝屏

   

参考文档：

Linux based file systems become read-only (51306)

 

发生“vSAN磁盘写满”时应该做什么？

=========================

• 关闭正在运行的vSAN释放vswap文件

• 迁移VM到其他存储

• 添加新的资源到vSAN当中，例如新的主机，新的磁盘。

• （谨慎）调整VM的存储策略，例如从FTT=1到FTT=0，从"thick"调整到“thin”

• 检查故障的主机/磁盘/磁盘组，尝试把他们恢复到正常状态

• （谨慎）删除一些不重要的VM

• （推荐）联系VMware技术支持

 

如何避免类似的问题发生？

=========================

• 确保vSAN有足够的使用可用空间

    官方的建议是保持vSAN的使用率在70%左右（命令：df -h）。这当然不是说vSAN只能用70%的容量，而是防患未然，确保在发生主机故障时候vSAN有足够的空间进行数据重建。

 对于存放实际业务数据的任何存储来说，谨慎永远是最重要的！

*严格意义上来说，70%这个数值也不够严谨，而是应该以客户实际情况来计算出一个使用率。

 

参考文档：

https://docs.vmware.com/en/VMware-vSphere/6.7/com.vmware.vsphere.vsan-planning.doc/GUID-581D2D5C-A88F-4318-A8B3-5A5F343F1247.html

vSAN Health Service - Physical Disk Health - Disk Capacity (2108907)

 

• 培养良好的使用习惯，定期进行vSAN健康检查。

    vSAN健康检查中Limits这里可以计算出一台主机故障后vSAN的使用容量。

 

• 更新vSAN到最新的版本

    我们在新版本中优化了数据重建/同步的过程，可以减少同步数量和重建数据时临时文件的占用空间，类似的优化我们每个版本都会发布。

 

• (个人经验) 主机上留下一个磁盘槽位，并且留下一块磁盘用于备件。

    如果出现问题可以快速添加存储资源。

 

• 第一时间联系VMware技术支持

    在处理vSAN磁盘用满的故障时候，有些命令的使用其实是蛮有“讲究”的：不同的执行顺序就会有不同的结果。因此请第一时间联系VMware技术支持团队，让专业的人来做专业的事情。