本文通过一个Vmware NSX 4的安装配置实例,扼要说明了一个典型的NSX系统配置、升级过程需要注意的正确步骤,并列出了作者在学习过程中踩过的坑,为同行绕过提供借鉴。
1、系统软硬件环境说明
本安装实例,使用了3台Dell PowerEdge R550服务器。三台服务器通过一台FutureMatrix
S6720-30C-EI-24S-AC交换机连成了一个超融合的存储环境;通过一台HUAWEI S5720-32P-EI-AC三层交换机连成了一个计算环境。
每台服务器的vmnic6物理网口(千兆电口)连接到一个分布式虚拟交换机(vnsxDSwitch),用于跑ESXi主机的Overlay传输网络和VLAN传输网络流量;vmnic7物理网口(千兆电口)连接到每个ESXi主机的标准虚拟机(vSwitch1),用于跑NSX Edge虚拟机的Overlay传输网络和VLAN传输网络流量。
以其中一台服务器(applesxi01)与三层交换机S5720相连的端口为例,端口配置如下:
interface GigabitEthernet0/0/5
description uplink to esxi host overlay and vlan transport zone network of applesxi01
port link-type trunk
undo port trunk allow-pass vlan 1
port trunk allow-pass vlan 2 to 4094
interface GigabitEthernet0/0/6
description uplink to nsx edge overlay and vlan transport network of applesxi01
port link-type trunk
undo port trunk allow-pass vlan 1
port trunk allow-pass vlan 2 to 4094
在核心交换机的Vlan 120子网中,启用BGP路由协议,配置如下:
interface Vlanif120
ip address 172.16.120.1 255.255.255.0
bgp 65001
peer 172.16.120.11 as-number 65000
# 172.16.120.11为后期配置的T0-Gateway-1的第一个外部接口IP地址
peer 172.16.120.12 as-number 65000
# 172.16.120.12为后期配置的T0-Gateway-1的第二个外部接口IP地址
ipv4-family unicast
undo synchronization
network 172.16.120.0 255.255.255.0
peer 172.16.120.11 enable
peer 172.16.120.12 enable
每台服务器上安装了vSphere ESXi 8.0 Enterprise Plus软件。三台服务器通过vCenter Server Appliance 8.0平台,基于一个ESXi集群映像,使用vLCM功能统一进行生命周期管理。
2、准备vSphere虚拟网络环境
在VC环境中,网络选项卡下,创建一个分布式虚拟交换机(如vnsxDSwitch),设置交
换机的MTU值为1600或更大的值,但必须小于物理交换机端口的最大允许传输的数据包大小(如9000)。配置一个上行链路(如上行链路1), 将三台ESXi主机的物理网口vmnic6迁入上面创建的分布式虚拟交换机,并与其上行链路1口相连。创建上述VDS交换机的目点是为NSX Manager配置主机传输节点时,提供必需的分布式虚拟交换机。如下图:
在每个ESXi主机的vSphere Host Client管理界面,进入“网络\虚拟交换机“选项卡,”添加标准虚拟交换机“,并创建vSwitch1交换机,添加一个上行链路1,并与主机的物理网口vmnic7做绑定。如下图:
在vSwitch1交换机下,创建2个端口组,Edge-OverlayTZ,Edge-VlanTZ。如下图:
创建上述两个端口组的目的,用于配置NSX Edge虚拟机组件时,为每个ESXi主机提供nvds主机交换机的连接。关注上述每个端口组中的VLAN ID配置。VLAN 110用于Overlay传输区域,VLAN 120用于NSX Edge与外部网络的连接。
3、NSX Manager 4.0安装配置过程
3.1、安装和配置NSX设备
本实例,从vCenter Server Appliance业务操作界面,在“vSphere Client快捷方式“界面,从插件选项中,点击NSX插件图标(注:从其它版本升级到VC 8.0的环境中,可能没有NSX插件图标),使用嵌入式NSX Manager的安装包:
nsx-embedded-unified-appliance-4.0.1.1.0.20598732.ova,进行NSX管理平面软件的安装,这样做的好处是,可以利用VC环境,借助NSX的管理插件,就可对NSX Manager进行统一管理。在安装好嵌入式NSX Manager软件后,当然也可通过在浏览器中,直接输入NSX Manager管理IP,进行基于Web方式的管理。如果希望直接使用NSX Manager的Web管理界面进行管理,也可以采用在vCenter Server Appliance中,部署nsx-unified-appliance-4.0.1.1.0.20598732.ova模板虚拟机的方式进行安装。
由于NSX Manager 4.0系统中集成了配置和数据管理平面功能,因此在生产环境中,需要配置三个NSX Manager 4.0虚拟机,组成一个集群,以提供网络虚拟化环境的高可用性。NSX Manager虚拟机的安装规模选择“中型“,以提供更好的网络系统性能。在安装好第一个NSX Manager 4.0虚拟机后,登录NSX Manager的管理界面,在“系统/配置/设备“选项卡下,点击”添加NSX设备“, 进行第二、第三个NSX设备的安装。结果如下图:
为这个集群配置一个虚拟IP,用于统一管理。集群处于稳定状态,方可投入正常使用。如果因为某种原因,出现个别NSX Manager节点不可用,可在相应节点下方的“操作”界面中,直接点击“删除“操作,然后重新做“添加NSX设备”操作,直到集群处于“稳定”状态。
上述界面中,第一个安装的NSX Manager设备,不可从操作界面删除。如果确实要删除,需要关闭这个虚拟机,并从VC环境中,做虚拟机删除操作。
使用嵌入式NSX Manager安装包,会在安装过程中要求输入VC主机的FQDN或IP地址,并在最后自动注册为NSX Manager环境中的计算管理器,在安装过程中,要勾选“创建服务帐户”,“启用信任“选项,访问级别选择为”对NSX的完全访问权限“。如果采用部署OVA模板的方式部署NSX Manager,在部署完成后,需要在”系统/配置/计算管理器“界面,手工添加”计算管理器“(注:在vSphere环境中,即为vCenter Server Appliance主机)。如下图所示:
3.2、配置主机传输节点
配置主机传输节点可分成四步:
第一步,创建隧道端点地址池
在配置ESXi主机传输节点之前,首先要为Overlay传输区域网络,创建一个Tunnel End Point地址池,创建方法是进入NSX Manager策略管理界面的“网络/IP管理/IP地址池“界面,点击”添加IP地址池“,为地址池分配一个名称(如tepippool), 设置一个子网。如下图所示:
第二步,创建一个“上行链路配置文件“
进入NSX Managert策略管理界面的”系统/配置/配置文件“界面,选中”上行链路配置文件“选项卡,点击”添加配置文件“。要创建一个传输节点配置文件,如下图所示:
注意上述传输VLAN的值,需要与定义的tepippool地址池所在网络相一致。
第三步,创建“传输节点配置文件“
进入NSX Manager策略管理界面“系统/Fabric/主机/传输节点配置文件“,点击”添加传输节点配置文件“,创建Transportnode-Profile-1,在主机交换机配置界面,选择计算管理器类型为vCenter,并选择上述创建的”VCLink“管理器,主机交换机类型选择VDS,并选择上面创建的vnsxDSwitch, 传输区域选择系统默认自带的nsx-overlay-transportzone, nsx-vlan-transportzone, 上行链路配置文件选择上述创建的Uplink-Profile-1, IP分配选择使用IP池,并选择上面创建的tepippool地址池,上行链路选择VDS上行链路的”上行链路1”。如下图:
第四步,为主机集群配置和安装NSX组件
只要选中待配置的主机集群,并点击“配置NSX“,并选择已配置好的传输主机节点配置文件Transportnode-Profile-1,在vLCM使能的集群上,会自动为集群中的所有主机完成NSX组件的安装和配置。
完成NSX组件安装的集群,每个主机会自动获得tepippool的隧道端点IP。如下图所示:
在每个主机的VMkernel适配器配置中会产生下列红框中的端口,如下图:
4、安装配置NSX Edge传输节点和集群
首先在AD域服务器中,为NSX Edge的2个节点各添加一条DNS 主机解析A记录,如本实例中:edge-1.applnet.cn: 172.16.100.64; edge-2.applnet.cn: 172.16.100.65。
进入NSX Manager策略管理界面,在“系统/配置/Fabric/节点/EDGE传输节点“选项卡,点击”添加EDGE节点“,选择”中等“规模的安装尺寸,允许SSH登录,为edge-1.applnet.cn节点配置管理IP,默认网关,搜索域名,DNS服务器,NTP服务器,创建Edge交换机,名称取为NVDS1,传输区域选择系统默认的nsx-overlay-transportzone, 上行链路配置文件要选择系统自带的nsx-edge-single-nic-uplink-profile,IP分配使用IP池,IP池分配选择上面创建的tepippool,上行链路的DPDK快速路径接口选择上面创建的”Edge-OverlayTZ“端口组,如下图:
再添加一个Edge交换机,名称取为NVDS2,传输区域选择nsx-vlan-transportzone, 上行链路配置文件仍然选择nsx-edge-single-nic-uplink-profile, 上行链路的DPDK快速路径接口选择上面创建的:Edge-VlanTZ端口组。如下图:
在第一个EDGE添加成功后,再创建第二个EDGE节点,edge-2.applnet.cn. 在成功创建EDGE节点后,会在vCenter Server Appliance虚拟机清单中,新增2个EDGE节点的虚拟机。每个节点会从tepippool池中自动获取到一个TEP IP地址。如下图所示:
要确认节点的状态为“开启“状态,如果是其它状态,要尝试解决相应的问题。
进入“系统/配置/Fabric/Edge集群“界面,创建一个Edge集群,取名为Edge-Cluster-1, 将选中上面新创建的2个Edge传输节点,加入到集群中,选择默认的集群配置文件nsx-default-edge-high-availability-profile.
5、创建和配置Tier-0 Gateway
T0 Gateway用于管理南北向的流量。
首先进入“网络/连接/分段“选择卡中,创建一个用于连接外部网络的vlan传输分段:
External-Segment, 传输区域字段中,选择系统默认自带的nsx-vlan-transportzone. VLAN字段必须取值0,如下图所示:
External-Segment分段将用于配置Tier-0网关的外部接口连接。
进入NSX Manager的策略管理界面,在“网络/连接/Tier-0“选择卡中,点击”添加网关“,
分配一个Tier-0网关的名称:T0-Gateway-1, HA模式字段中,选择”活动-备用“模式,Edge集群字段,选择第4项中创建的Edge-Cluster-1集群。选择保存当前配置。如下图所示:
在上述界面中,点击“接口“选项,进入设置接口界面,为前面创建的添加2个Edge Node添加外部接口连接,在设置接口界面,创建外部连接接口名称:IP-EdgeNode-1, 类型字段选择”外部“,IP地址/掩码字段,输入CIDR格式的IP地址:172.16.120.11/24, 已连接到(分段)字段,选择上面创建的External-Segment, Edge节点字段选择第一个Edge节点名称:nsx-edge-1, 其它字段取默认值。如下图所示:
保存配置。并创建第二个接口,如下图所示:
创建完成的接口配置,如下图所示:
保存当前配置,并点击”HA VIP”配置,以创建一个Virtaul IP,用于管理外部接口,配置路由信息等。如下图所示:
点击“路由/静态路由“选项,创建一条到外部网络的静态路由,如下图所示:
其中下一跃点指向外部路由器的网关IP,如下图所示:
再次进入T0-Gateway-1的编辑界面,点击并启用BGP路由。在BGP邻居字段中,添加外部网络的BGP邻居,如下图所示:
其中邻居IP地址,取Vlan 120子网的SVI地址:172.16.120.1,源地址字段输入172.16.120.11, 172.16.120.12,如下图所示:
保存配置,并回到T0-Gateway-1的编辑界面,点周“路由重新分发“选项,勾选通过BGP分发路由。创建路由重新分发策略,如下图所示:
在设置路由重新分发策略中,做如下图所示选择:
在“网络/网络服务/NAT“选项卡中,创建一条SNAT规则,用于将连接到分段的虚拟机的对外访问的数据包源IP转换成通过T0-Gateway-1的外部接口的虚拟IP,以访问南北向的流量。SNAT规则配置结果如下图:
规则配置如下图:
确认网关防火墙的规则情况:进入“安全/策略管理/网关防火墙”界面,在“网关”选项卡,进入T0-Gateway-1网关的防火墙策略界面,可以看到有一条默认的防火墙规则,允许任何流量通过T0-Gateway-1网关。如下图所示:
6、创建和配置T1 Gateway
Tier-1网关用于路由和限制东西向的虚拟机流量。
进入“网络/连接/Tier-1网关”界面,点击“添加TIER-1网关”,输入网关名称:T1-Gateway-1, HA模式选择“活动-备用”,已链接Tier-0网关选择上面创建的T0-Gateway-1网关,Edge集群选择上面创建的”Edge-Cluster-1”,故障切换选择“非主动”,并勾选自动分配Edge。保存配置,并继续编辑。打开路由通告界面,勾选“所有已连接分段和服务端口”。保存配置。如下图所示:
创建完成后的Tier-1网关列表如下:
在“安全/策略管理/网关防火墙”界面,选择任一Tier-1网关,可以查看到也有一样默认策略规则允许任何流量通过Tier-1网关。如下图所示:
7、创建和配置各种分段
根据业务要求,创建必要的业务分段。分段即逻辑交换机,用于给虚拟机网络适配器分配连网信息。以创建LS-10.1.1.0分段为例,进入“网络/连接/分段/NSX”界面,点击“添加分段”, 输入分段名称:LS-10.1.1.0,连接的网关选择上面创建的T1-Gateway-1, 传输区域选择nsx-overlay-transportzone, 在子网字段,输入网关IP:10.1.1.1/24. 保存配置。如下图所示:
创建完成后分段列表如下图所示:
8、测试东西向和南北向流量连通性
将创建的分段LS-10.1.1.0, LS-10.1.2.0, LS-10.2.1.0, LS-10.2.2.0分别赋给4个测试用虚拟机。进入NSX Manager的“安全规划和故障排除/故障排除工具/流量分析“界面,选择”流跟踪“,选择跟踪2个虚拟机TestVM1, TestVM2之间的单播ICMP流量,如下图所示:
数据流跟踪如下图:
数据包转发过程,如下表:
上述结果说明,东西向的网络已配通。
下面再测试南北向的流量,让NSX网络中的一个虚拟机连通外部公网IP(如223.5.5.5), 结果如下图所示:
从测试结果来看,NSX overlay网络的虚拟机是可以通过T1-Gateway-1, T0-Gateway-1网关,到达外部网关,再到达因特网的。
9、为overlay分段配置网关DHCP服务
可以为每个overlay segement配置分段DHCP Server, 中继DHCP Server和网关DHCP Server.
本实例在T1-Gataeway-1, T1-Gateway-2网关配置了网关DHCP Server. 并在每个overlay segment中使用了网关DHCP Server.
配置过程,首先要在NSX Manager策略管理器的“网络/设置/网络配置文件/DHCP“选项卡中,点击”添加DHCP配置文件“,输入网关DHCP Server的名称:GatewayDHCPServer,在”配置文件类型”字段,选择”DHCP服务器“,服务器IP地址字段留空,系统会自动创建一个IP地址为 100.96.0.1/30的服务器地址,并在内部自动建立与各个分段的连接。Edge集群字段,要选择上面创建的Edge-Cluster-1, 保存配置。如下图所示:
创建完成后的DHCP配置文件如下表所示:
进入Tier-1网关的配置界面,点击DHCP设置,在类型字段,选择“DHCP服务器“,在“DHCP服务器配置文件“字段中,选择上面创建的”GatewayDHCPServer“. 如下图所示:
在每个需要配置DHCP服务的Overlay分段中,点击设置DHCP,DHCP类型字段选择“网关DHCP服务器“,DHCP配置文件字段默认分段上连的Tier-1网关的DHCP配置文件。在DHCP范围字段,可以为该分段配置IP范围,租约时间,DNS服务器IP地址等。如下图所示:
将虚拟机连接到overlay分段,设置IP自动获取。可以看到虚拟机能自动获取到网关DHCP Server分配的IP地址信息。如下图所示:
10、升级NSX Manager 4.0到4.1过程
升级之前,需要将NSX Manager所在ESXi主机集群的DRS自动化调度功能设置为“全自动“。以让系统完成自动化的升级流程。升级使用的软件名称为:
VMware-NSX-upgrade-bundle-4.1.0.0.0.21332672.mub
升级是先升级Edge组件,再升级主机,再升级NSX Manager. 如下图所示:
11、安装配置过程踩坑记录
1)按照VMware官网上提供的nsx_40_quick_start.pdf文档,是配不通NSX网络的。
2)配置NSX Edge主机交换机时,采用分布式虚拟交换机的端口组来配置上行链路的DPDK快速路径接口,也是配不通的,即使安装成功,NSX Edge与传输节点主机之间无法建立Tunnel End Poiint连接,由于隧道无法建立 ,会导致传输节点主机的状态变成降级或关闭。需要采用标准交换机配置的端口组来配置NSX Edge主机交换机的DPDK接口。
3)用于连接NSX Edge主机交换机的VSS上的端口组的VLAN要配置正确,像本实例中配置的那样,否则会由于传输节点主机的overlay网络外部与NSX Edge overlay网络的VLAN标识不同,导致隧道无法产生。
4) 本实例想做的利用外部网络的DHCP中继服务,没有做成。在overlay分段上配置了外部网络的Window DHCP Server,相连接的虚拟机无法获取到IP。不知道是什么原因。
以上实战过程仅供参考,如有配置上的疑问,联系信息如下:
联系信息
以上信息仅供参考,有遗漏之处,在所难免。欢迎有同样兴趣的朋友,一起分享讨论。本人联系信息:无锡爱普尔信息科技有限公司,徐先生,微信和手机同号:18015329198。