VMware NSX 4.0安装、配置和升级实战

       本文通过一个Vmware NSX 4的安装配置实例，扼要说明了一个典型的NSX系统配置、升级过程需要注意的正确步骤，并列出了作者在学习过程中踩过的坑，为同行绕过提供借鉴。

       1、系统软硬件环境说明

       本安装实例，使用了3台Dell PowerEdge R550服务器。三台服务器通过一台FutureMatrix

S6720-30C-EI-24S-AC交换机连成了一个超融合的存储环境；通过一台HUAWEI S5720-32P-EI-AC三层交换机连成了一个计算环境。

每台服务器的vmnic6物理网口（千兆电口）连接到一个分布式虚拟交换机（vnsxDSwitch），用于跑ESXi主机的Overlay传输网络和VLAN传输网络流量；vmnic7物理网口（千兆电口）连接到每个ESXi主机的标准虚拟机（vSwitch1），用于跑NSX Edge虚拟机的Overlay传输网络和VLAN传输网络流量。

       以其中一台服务器（applesxi01）与三层交换机S5720相连的端口为例，端口配置如下：

    interface GigabitEthernet0/0/5

    description uplink to esxi host overlay and vlan transport zone network of applesxi01

    port link-type trunk

    undo port trunk allow-pass vlan 1

    port trunk allow-pass vlan 2 to 4094

    interface GigabitEthernet0/0/6

    description uplink to nsx edge overlay and vlan transport network of applesxi01

    port link-type trunk

    undo port trunk allow-pass vlan 1

    port trunk allow-pass vlan 2 to 4094

    在核心交换机的Vlan 120子网中，启用BGP路由协议，配置如下：

    interface Vlanif120

    ip address 172.16.120.1 255.255.255.0

    bgp 65001

    peer 172.16.120.11 as-number 65000   

                     # 172.16.120.11为后期配置的T0-Gateway-1的第一个外部接口IP地址

    peer 172.16.120.12 as-number 65000

                     # 172.16.120.12为后期配置的T0-Gateway-1的第二个外部接口IP地址

    ipv4-family unicast

    undo synchronization

    network 172.16.120.0 255.255.255.0

    peer 172.16.120.11 enable

    peer 172.16.120.12 enable

每台服务器上安装了vSphere ESXi 8.0 Enterprise Plus软件。三台服务器通过vCenter Server Appliance 8.0平台，基于一个ESXi集群映像，使用vLCM功能统一进行生命周期管理。

      2、准备vSphere虚拟网络环境

     在VC环境中，网络选项卡下，创建一个分布式虚拟交换机（如vnsxDSwitch），设置交

换机的MTU值为1600或更大的值，但必须小于物理交换机端口的最大允许传输的数据包大小（如9000）。配置一个上行链路（如上行链路1）, 将三台ESXi主机的物理网口vmnic6迁入上面创建的分布式虚拟交换机，并与其上行链路1口相连。创建上述VDS交换机的目点是为NSX Manager配置主机传输节点时，提供必需的分布式虚拟交换机。如下图：

在每个ESXi主机的vSphere Host Client管理界面，进入“网络\虚拟交换机“选项卡，”添加标准虚拟交换机“，并创建vSwitch1交换机，添加一个上行链路1，并与主机的物理网口vmnic7做绑定。如下图：

 在vSwitch1交换机下，创建2个端口组，Edge-OverlayTZ，Edge-VlanTZ。如下图：

 

 创建上述两个端口组的目的，用于配置NSX Edge虚拟机组件时，为每个ESXi主机提供nvds主机交换机的连接。关注上述每个端口组中的VLAN ID配置。VLAN 110用于Overlay传输区域，VLAN 120用于NSX Edge与外部网络的连接。

       3、NSX Manager 4.0安装配置过程

          3.1、安装和配置NSX设备

         本实例，从vCenter Server Appliance业务操作界面，在“vSphere Client快捷方式“界面，从插件选项中，点击NSX插件图标（注：从其它版本升级到VC 8.0的环境中，可能没有NSX插件图标），使用嵌入式NSX Manager的安装包：

nsx-embedded-unified-appliance-4.0.1.1.0.20598732.ova，进行NSX管理平面软件的安装，这样做的好处是，可以利用VC环境，借助NSX的管理插件，就可对NSX Manager进行统一管理。在安装好嵌入式NSX Manager软件后，当然也可通过在浏览器中，直接输入NSX Manager管理IP，进行基于Web方式的管理。如果希望直接使用NSX Manager的Web管理界面进行管理，也可以采用在vCenter Server Appliance中，部署nsx-unified-appliance-4.0.1.1.0.20598732.ova模板虚拟机的方式进行安装。

由于NSX Manager 4.0系统中集成了配置和数据管理平面功能，因此在生产环境中，需要配置三个NSX Manager 4.0虚拟机，组成一个集群，以提供网络虚拟化环境的高可用性。NSX Manager虚拟机的安装规模选择“中型“，以提供更好的网络系统性能。在安装好第一个NSX Manager 4.0虚拟机后，登录NSX Manager的管理界面，在“系统/配置/设备“选项卡下，点击”添加NSX设备“, 进行第二、第三个NSX设备的安装。结果如下图：

 

为这个集群配置一个虚拟IP，用于统一管理。集群处于稳定状态，方可投入正常使用。如果因为某种原因，出现个别NSX Manager节点不可用，可在相应节点下方的“操作”界面中，直接点击“删除“操作，然后重新做“添加NSX设备”操作，直到集群处于“稳定”状态。

上述界面中，第一个安装的NSX Manager设备，不可从操作界面删除。如果确实要删除，需要关闭这个虚拟机，并从VC环境中，做虚拟机删除操作。

使用嵌入式NSX Manager安装包，会在安装过程中要求输入VC主机的FQDN或IP地址，并在最后自动注册为NSX Manager环境中的计算管理器，在安装过程中，要勾选“创建服务帐户”，“启用信任“选项，访问级别选择为”对NSX的完全访问权限“。如果采用部署OVA模板的方式部署NSX Manager，在部署完成后，需要在”系统/配置/计算管理器“界面，手工添加”计算管理器“（注：在vSphere环境中，即为vCenter Server Appliance主机）。如下图所示：

 

3.2、配置主机传输节点

配置主机传输节点可分成四步：

第一步，创建隧道端点地址池

在配置ESXi主机传输节点之前，首先要为Overlay传输区域网络，创建一个Tunnel End Point地址池，创建方法是进入NSX Manager策略管理界面的“网络/IP管理/IP地址池“界面，点击”添加IP地址池“，为地址池分配一个名称（如tepippool）, 设置一个子网。如下图所示：

 第二步，创建一个“上行链路配置文件“

进入NSX Managert策略管理界面的”系统/配置/配置文件“界面，选中”上行链路配置文件“选项卡，点击”添加配置文件“。要创建一个传输节点配置文件，如下图所示：

注意上述传输VLAN的值，需要与定义的tepippool地址池所在网络相一致。

第三步，创建“传输节点配置文件“

进入NSX Manager策略管理界面“系统/Fabric/主机/传输节点配置文件“，点击”添加传输节点配置文件“，创建Transportnode-Profile-1，在主机交换机配置界面，选择计算管理器类型为vCenter，并选择上述创建的”VCLink“管理器，主机交换机类型选择VDS，并选择上面创建的vnsxDSwitch, 传输区域选择系统默认自带的nsx-overlay-transportzone, nsx-vlan-transportzone, 上行链路配置文件选择上述创建的Uplink-Profile-1, IP分配选择使用IP池，并选择上面创建的tepippool地址池，上行链路选择VDS上行链路的”上行链路1”。如下图：

第四步，为主机集群配置和安装NSX组件

只要选中待配置的主机集群，并点击“配置NSX“，并选择已配置好的传输主机节点配置文件Transportnode-Profile-1，在vLCM使能的集群上，会自动为集群中的所有主机完成NSX组件的安装和配置。

完成NSX组件安装的集群，每个主机会自动获得tepippool的隧道端点IP。如下图所示：

 在每个主机的VMkernel适配器配置中会产生下列红框中的端口，如下图：

      4、安装配置NSX Edge传输节点和集群

首先在AD域服务器中，为NSX Edge的2个节点各添加一条DNS 主机解析A记录，如本实例中：edge-1.applnet.cn: 172.16.100.64; edge-2.applnet.cn: 172.16.100.65。

进入NSX Manager策略管理界面，在“系统/配置/Fabric/节点/EDGE传输节点“选项卡，点击”添加EDGE节点“，选择”中等“规模的安装尺寸，允许SSH登录，为edge-1.applnet.cn节点配置管理IP，默认网关，搜索域名，DNS服务器，NTP服务器，创建Edge交换机,名称取为NVDS1，传输区域选择系统默认的nsx-overlay-transportzone, 上行链路配置文件要选择系统自带的nsx-edge-single-nic-uplink-profile，IP分配使用IP池，IP池分配选择上面创建的tepippool，上行链路的DPDK快速路径接口选择上面创建的”Edge-OverlayTZ“端口组，如下图：

 

 再添加一个Edge交换机，名称取为NVDS2，传输区域选择nsx-vlan-transportzone, 上行链路配置文件仍然选择nsx-edge-single-nic-uplink-profile, 上行链路的DPDK快速路径接口选择上面创建的：Edge-VlanTZ端口组。如下图：

 在第一个EDGE添加成功后，再创建第二个EDGE节点，edge-2.applnet.cn. 在成功创建EDGE节点后，会在vCenter Server Appliance虚拟机清单中，新增2个EDGE节点的虚拟机。每个节点会从tepippool池中自动获取到一个TEP IP地址。如下图所示：

 

要确认节点的状态为“开启“状态，如果是其它状态，要尝试解决相应的问题。

进入“系统/配置/Fabric/Edge集群“界面，创建一个Edge集群，取名为Edge-Cluster-1, 将选中上面新创建的2个Edge传输节点，加入到集群中，选择默认的集群配置文件nsx-default-edge-high-availability-profile.

       5、创建和配置Tier-0 Gateway

T0 Gateway用于管理南北向的流量。

首先进入“网络/连接/分段“选择卡中，创建一个用于连接外部网络的vlan传输分段：

External-Segment, 传输区域字段中，选择系统默认自带的nsx-vlan-transportzone. VLAN字段必须取值0，如下图所示：

External-Segment分段将用于配置Tier-0网关的外部接口连接。

进入NSX Manager的策略管理界面，在“网络/连接/Tier-0“选择卡中，点击”添加网关“，

分配一个Tier-0网关的名称：T0-Gateway-1, HA模式字段中，选择”活动-备用“模式，Edge集群字段，选择第4项中创建的Edge-Cluster-1集群。选择保存当前配置。如下图所示：

 在上述界面中，点击“接口“选项，进入设置接口界面，为前面创建的添加2个Edge Node添加外部接口连接，在设置接口界面，创建外部连接接口名称：IP-EdgeNode-1, 类型字段选择”外部“，IP地址/掩码字段，输入CIDR格式的IP地址：172.16.120.11/24, 已连接到（分段）字段，选择上面创建的External-Segment, Edge节点字段选择第一个Edge节点名称：nsx-edge-1, 其它字段取默认值。如下图所示：

 

 保存配置。并创建第二个接口，如下图所示：

 创建完成的接口配置，如下图所示：

 保存当前配置，并点击”HA VIP”配置，以创建一个Virtaul IP，用于管理外部接口，配置路由信息等。如下图所示：

 点击“路由/静态路由“选项，创建一条到外部网络的静态路由，如下图所示：

 其中下一跃点指向外部路由器的网关IP，如下图所示：

 再次进入T0-Gateway-1的编辑界面，点击并启用BGP路由。在BGP邻居字段中，添加外部网络的BGP邻居，如下图所示：

 其中邻居IP地址，取Vlan 120子网的SVI地址：172.16.120.1，源地址字段输入172.16.120.11, 172.16.120.12，如下图所示：

 保存配置，并回到T0-Gateway-1的编辑界面，点周“路由重新分发“选项，勾选通过BGP分发路由。创建路由重新分发策略，如下图所示：

 在设置路由重新分发策略中，做如下图所示选择：

 在“网络/网络服务/NAT“选项卡中，创建一条SNAT规则，用于将连接到分段的虚拟机的对外访问的数据包源IP转换成通过T0-Gateway-1的外部接口的虚拟IP，以访问南北向的流量。SNAT规则配置结果如下图：

 规则配置如下图：

 确认网关防火墙的规则情况：进入“安全/策略管理/网关防火墙”界面，在“网关”选项卡，进入T0-Gateway-1网关的防火墙策略界面，可以看到有一条默认的防火墙规则，允许任何流量通过T0-Gateway-1网关。如下图所示：

      6、创建和配置T1 Gateway

Tier-1网关用于路由和限制东西向的虚拟机流量。

进入“网络/连接/Tier-1网关”界面，点击“添加TIER-1网关”，输入网关名称：T1-Gateway-1, HA模式选择“活动-备用”，已链接Tier-0网关选择上面创建的T0-Gateway-1网关，Edge集群选择上面创建的”Edge-Cluster-1”，故障切换选择“非主动”，并勾选自动分配Edge。保存配置，并继续编辑。打开路由通告界面，勾选“所有已连接分段和服务端口”。保存配置。如下图所示：

 创建完成后的Tier-1网关列表如下：

 在“安全/策略管理/网关防火墙”界面，选择任一Tier-1网关，可以查看到也有一样默认策略规则允许任何流量通过Tier-1网关。如下图所示：

        7、创建和配置各种分段

      根据业务要求，创建必要的业务分段。分段即逻辑交换机，用于给虚拟机网络适配器分配连网信息。以创建LS-10.1.1.0分段为例，进入“网络/连接/分段/NSX”界面，点击“添加分段”， 输入分段名称：LS-10.1.1.0，连接的网关选择上面创建的T1-Gateway-1, 传输区域选择nsx-overlay-transportzone, 在子网字段，输入网关IP：10.1.1.1/24. 保存配置。如下图所示：

 创建完成后分段列表如下图所示：

      8、测试东西向和南北向流量连通性

      将创建的分段LS-10.1.1.0, LS-10.1.2.0, LS-10.2.1.0, LS-10.2.2.0分别赋给4个测试用虚拟机。进入NSX Manager的“安全规划和故障排除/故障排除工具/流量分析“界面，选择”流跟踪“，选择跟踪2个虚拟机TestVM1, TestVM2之间的单播ICMP流量，如下图所示：

 数据流跟踪如下图：

数据包转发过程，如下表：

上述结果说明，东西向的网络已配通。

下面再测试南北向的流量，让NSX网络中的一个虚拟机连通外部公网IP（如223.5.5.5）, 结果如下图所示：

 

从测试结果来看，NSX overlay网络的虚拟机是可以通过T1-Gateway-1, T0-Gateway-1网关，到达外部网关，再到达因特网的。

       9、为overlay分段配置网关DHCP服务

可以为每个overlay segement配置分段DHCP Server, 中继DHCP Server和网关DHCP Server.

本实例在T1-Gataeway-1， T1-Gateway-2网关配置了网关DHCP Server. 并在每个overlay segment中使用了网关DHCP Server.

配置过程，首先要在NSX Manager策略管理器的“网络/设置/网络配置文件/DHCP“选项卡中，点击”添加DHCP配置文件“，输入网关DHCP Server的名称：GatewayDHCPServer，在”配置文件类型”字段，选择”DHCP服务器“，服务器IP地址字段留空，系统会自动创建一个IP地址为 100.96.0.1/30的服务器地址，并在内部自动建立与各个分段的连接。Edge集群字段，要选择上面创建的Edge-Cluster-1, 保存配置。如下图所示：

 创建完成后的DHCP配置文件如下表所示：

 进入Tier-1网关的配置界面，点击DHCP设置，在类型字段，选择“DHCP服务器“，在“DHCP服务器配置文件“字段中，选择上面创建的”GatewayDHCPServer“. 如下图所示：

 在每个需要配置DHCP服务的Overlay分段中，点击设置DHCP，DHCP类型字段选择“网关DHCP服务器“，DHCP配置文件字段默认分段上连的Tier-1网关的DHCP配置文件。在DHCP范围字段，可以为该分段配置IP范围，租约时间，DNS服务器IP地址等。如下图所示：

 将虚拟机连接到overlay分段，设置IP自动获取。可以看到虚拟机能自动获取到网关DHCP Server分配的IP地址信息。如下图所示：

10、升级NSX Manager 4.0到4.1过程

升级之前，需要将NSX Manager所在ESXi主机集群的DRS自动化调度功能设置为“全自动“。以让系统完成自动化的升级流程。升级使用的软件名称为：

VMware-NSX-upgrade-bundle-4.1.0.0.0.21332672.mub

升级是先升级Edge组件，再升级主机，再升级NSX Manager. 如下图所示：

 

11、安装配置过程踩坑记录

1）按照VMware官网上提供的nsx_40_quick_start.pdf文档，是配不通NSX网络的。

2）配置NSX Edge主机交换机时，采用分布式虚拟交换机的端口组来配置上行链路的DPDK快速路径接口，也是配不通的，即使安装成功，NSX Edge与传输节点主机之间无法建立Tunnel End Poiint连接，由于隧道无法建立 ，会导致传输节点主机的状态变成降级或关闭。需要采用标准交换机配置的端口组来配置NSX Edge主机交换机的DPDK接口。

3）用于连接NSX Edge主机交换机的VSS上的端口组的VLAN要配置正确，像本实例中配置的那样，否则会由于传输节点主机的overlay网络外部与NSX Edge overlay网络的VLAN标识不同，导致隧道无法产生。

4) 本实例想做的利用外部网络的DHCP中继服务，没有做成。在overlay分段上配置了外部网络的Window DHCP Server，相连接的虚拟机无法获取到IP。不知道是什么原因。

以上实战过程仅供参考，如有配置上的疑问，联系信息如下：

联系信息

以上信息仅供参考，有遗漏之处，在所难免。欢迎有同样兴趣的朋友，一起分享讨论。本人联系信息：无锡爱普尔信息科技有限公司，徐先生，微信和手机同号：18015329198。