从一块内存开始，带你了解企业级虚拟化(一)

前言：本文将以日记的形式记录一套企业级虚拟化平台是如何从无到有，从0到1的。以第一人称视角，将该业务的搭建流程和本人的心路历程，以时间线的发展进行记录、总结。考虑到本文也许会有少量的受众，笔者将尽可能运用通俗、具象、甚至修辞手法来将此事描述清楚。特别强调，本文非技术文档、非专业指南，仅供参考。

2022.07.21——机缘巧合，接手设备

       设备入手的机缘开始于6月，是即将要从其他业务上撤下来的一批设备，业务停了，这批固定资产计划被安排进仓库吃灰。据悉，之前的业务是一套C/S架构系统，类似于酒店流动人口登记系统，外加一个门户网站，据说流量都不大。当时以为，几台常规的2U机架服务器足以满足要求。

       7月21日是我正式“面见”这套设备，按照我当时的理解：这应该是一组集群服务器，外加一台存储服务器，一台防火墙，一台WAF，一台接入交换机。按现在严谨的说法是：一架华为FusionServer E9000 Chassis融合架构刀片服务器（搭载6个计算节点），一台宏杉（MacroSAN）MS2500G2混合闪存存储，华为S5720管理型交换机，防火墙和WAF没用到，本文不做讨论。

       考虑到服务器和存储是本文的核心底层设备，因此从官方的角度再介绍一下：E9000服务器，集计算、存储、网络、管理为一体，多用于虚拟化、核心业务、高性能计算等方面；MS2500存储，入门级混合闪存存储，满足数据库、虚拟化桌面和服务器虚拟化等场景，针对企业级数据的高效治理。

       面见当天，只是觉得东西比较齐全，比先前预计的“高级”、“先进”不少（在此之前确实没摸过12U的服务器=。=）当天的想法是：东西还不错，研究研究再进仓库不迟。

2022.07.25——拆！！！

       好巧不巧，最近正在研究虚拟化相关的底层建设。自打见了这套设备，心里就多了一档子事，心底里不由自主地想要把这俩事结合起来，想的多了甚至还有点窃喜。因此，这两天有事没事就是上官网查资料，看文档。那台12U的服务器不愧于它的份量（用尽全身力气刚刚可以略微拖动它），不光对我的体力造成了冲击，还有我的心理...

      不行，按耐不住了，下去再看看！（机房在B1层，日常在高层办公）这次是带着好奇心和官方文档来的，我要对这个“大家伙”一探究竟。原来，这个大家伙目前只是个“空壳”，也就是空机箱。旁边它的“儿子”又称“计算节点”，目测大概尺寸能对上。开搞！

       根据以往经验结合现场信息，我决定先从“儿子”下手，因为从零开局一个硬件或是一套系统，往往是由小到大，从局部到全局的思路。细看一下，“儿子”身上就带着被拆的说明...打开机盖之后，如我所料：CPU，内存条，硬盘，电源，主板...这不就是传统服务器的架构么？数了一下，现场有6个这样的“儿子”。所以，这应该是搭载了6台计算节点的刀片型（插槽型）服务器。继续看，确实是精致，不得不说大厂做东西还是讲究，内存条的防尘罩、主板上蚀刻的logo、CPU上压的散热铝板凉凉的...

       那么这6个计算节点应该就是从这个大家伙前面的槽位插进去了。“咔嗒”一声，计算节点严丝合缝地插入了机箱的插槽。不论从做工、精密程度和集成度、甚至是手感上都能感受到，这一套价格不菲。大机箱的背面插着各种各样的板卡，标着MM、CX110等字样（这都是啥=。=），接口几乎都是网口，另外还有风扇模块、电源模块的插槽。拆下来看看开开眼...

       差不多研究完服务器的物理构造之后，我决定在现场继续收集些“线索”。在这个时候，我已经萌生了把这个东西“盘活”的想法。拆回来的网线研究了一下，并不复杂（这个线签真的是雪中送炭），服务器北向连接了交换机南向连接了存储，服务器与存储大概是交叉互联，主备并行的思路。捋线的行为虽然比较繁琐，但对于之后的架构复原或是重构都有很高的参考价值。

       今天现场研究到这了，虽然正值盛夏，机房里的冷气还是要把人冻透。出机房的瞬间，我有些“发现新大陆”般的兴奋。此时我决定，开局！把这套东西搞起来！

       回到工位，我开始行动起来：官网查资料（华为客户权限还是比较容易申请的，随便绑个设备的SN码，你想要的文档基本都能从官网获取到，力荐！）、CSDN大神开局指导、典型案例分析、避坑指南、贴吧论坛、知乎简书、400售后技术支持...

       站在技术角度，我认为该对上述不专业的说法做个补充：上面提到的“大家伙”，学名一体化机箱，除提供电源、风扇等基本功能外，还提供核心IO主板（主要针对物理板卡与计算节点之间的IO）。计算节点就是上述的“儿子”，不同的角度又称为刀片服务器、node、slot节点。MM即manage module，是提供服务器管理接口的板卡，该服务器配备2张管理板卡，MM1、MM2为主备模式，两种出接口方式：一种直插模式，一种通过交换板卡出。交换板卡就是上述的CX110，也就是SW（模块），因此可以理解为该服务器自身集成了两台12口交换机。本段旨在为上述“白话”做个补充说明，但相对于其内部的门道可谓是冰山一角，后续择时讨论。

2022.07.31——亮！！！

       经过四天的摸索，对于机器的物理结构和机械构件已是胸有成竹。同时，内心对于下一步的探索也跃跃欲试，于是今日我决定将其上电点亮。下到机房，二话不说开始组装剩余设备，刀片(Node)入轨、风扇归位、板卡进槽、检查电源与环境OK——上电！这里说明一下，E9000搭载了6个电源模块，满载16个半宽计算节点（或8个全宽）。而我只有6个半宽节点，因此不需要6个电源模块跑满，但为了“煲机”，暂时让机器全功率洗礼一下。（6个电源模块是左三右三分布，规范的接电是左侧一路电，右侧一路电。标准机房都是双路电，一般是主备两路电，或一路UPS）。

插入第一颗电源之后，风扇即刻就转了起来。紧着其余5颗电源陆续接通，机箱进入初始自检状态，风扇暂时进入全速运转状态，噪音很大。前面板指示灯，后板卡指示灯随即点亮、闪烁。

        该机箱前面板底部，自带一个LCD液晶触摸屏，可做开局基础配置和查看警报。输入用户密码进入配置界面。可查看设备前后面板状态、配置基本设备信息、网络配置、警报查看与消除等。可以看到之前的网络配置信息还在，管理浮动IP：192.168.4.22，主管理板卡（MM1）静态IP：192.168.4.23，备管理板卡（MM2）静态IP：192.168.4.24。说明一下：浮动IP即Floating IP，是登录服务器WebUI管理界面的IP地址，也是SSH登录的Host IP地址。主备板的静态IP地址（StaticIP）是各自板卡的固定IP地址，也是该板卡MGMT接口的IP地址。客户端/管理端通过WebUI的方式访问.22和.23地址时，均可以进入该设备的Web MMH管理后台，登录备管理板卡的IP时，则只能查看设备的部分信息，无管理权限。

        为便于管理并适于现有办公网络，将上述管理三个IP地址变更为192.168.68.22－24。

至此，E9000服务器已被我从“冷宫”的边缘挽救回来。从计算节点内的内存起步，开启了本次的虚拟化建设之旅。

——津湾CIO

（后续更新时间不定，最近比较忙=。=）更多内容请关注本人公众号。