SDN VMware NSX网络原理与实践-NSX-V 解决方案基本架构【2.3】

1．同一 ESXi 主机内，属于 VXLAN 5001 的虚拟机 1 想要与属于 VXLAN 5002 的虚拟机 2 通信。
2．虚拟机 1 向默认网关（位于 Hypervisor 之上）发送一个携带了三层 IP 地址的报文。默认网关根据目的地址确认了目的地址所属的网段。
3．默认网关检查了 ARP 表，并确认了目的 MAC 地址。
4．由于虚拟机 2 与虚拟机 1 处于同一个 ESXi 主机，默认网关直接将报文传递给虚拟机 2。
如图 5.8 所示，对于在不同 ESXi 主机内连接不同网段的两台虚拟机，相互之间需要通过分布式路由进行通信，其工作流则如下所述。
1．属于 VXLAN 5001 的虚拟机 1 想要与处于 VXLAN 5002 的虚拟机 2 通信，发出了数据包。数据包被发送到虚拟机 1 本地网关接口所在的分布式路由器。
2． 在本地的分布式路由器进行路由查询，确认目的网段直接连接到 LIF2。另外， LIF2中 ARP 表的查询也会确认其 MAC 地址与虚拟机 2 的 IP 地址关联。注意，如果 ARP 信息不可用，那么分布式路由器就会在 VXLAN 5002 中生成一个 ARP 请求，以确认需要的映射信息。
3．本地的 MAC 地址表会进行二层的查询，以确认数据包是否抵达虚拟机 2。确认完成后，本地就会进行 VXLAN 的封装，并发送到 ESXi-2（20.1.1.10）的 VTEP。
4． ESXi-2 对数据包进行解封装，并在关联了 VXLAN 5002 网段的 MAC 地址表中进行二层查询。
5．数据包最终抵达虚拟机 2。

对于连接分布式路由器的虚拟机想要与外部网络通信的情况，工作流程又有不同。如图 5.9 和图 5.10 所示， 下面讲解在这种情况下的通信过程。

1．处于外部网络的一台设备（192.168.100.1）想要与 VXLAN 5001 网段中的虚拟机 1 （192.168.1.1）进行通信。 2．数据包从物理网络发送到了 NSX Edge 所在的 ESX 主机（ESXi-2）。这台主机收到 数据包后进行路由查询，找到一条指向 192.168.1.0/24 网段的路由。这时候，就可以通过DLR Control VM 学习到 IP 前缀，并通过数据平面执行下一跳操作（去往 VXLAN 5003 的 网关 192.168.10.254）。 3．由于 ESXi-2 安装了NSX Edge，这意味着NSX Edge 路由与分布式路由可以在 ESXi-2 的本地进行重分布处理。 4．目的 IP 网段（ 172.16.10.0/24）直连了分布式路由器，因此数据包在传输网络与 VXLAN 5001 网段中进行路由。 ESXi-2 在执行完二层查询后，数据包就会进行 VXLAN 的 封装，并发送到虚拟机 1 所在的 ESXi-1 主机的 VTEP（10.1.1.10）。 5． ESXi-1 对数据包进行解封装，并将数据包传递到虚拟机 1。

6． 虚拟机 1 希望对外部网络做出回应。因此，数据包被发送到连接本地分布式路由器的 虚拟机 1 的默认网关接口地址（192.168.1.254），这个网关位于 ESXi-1 的 Hypervisor 之上。

7．分布式路由器执行本地路由查询，确认去往目的的下一跳地址是 NSX Edge （192.168.10.1）。这些信息被 DLR Control VM 收集，并推送到 ESXi 主机。

8． ESXi 主机通过执行本地二层查询，确认数据包在传输网络之上如何抵达 NSX Edge。 随后数据包就会进行 VXLAN 的封装，并发送到虚拟机 2 所在的 ESXi-2 主机的 VTEP （20.20.20.20）。

9． ESXi-2 对数据包进行解封装，并将数据包传递到 NSX Edge。

10． NSX Edge 执行路由查询，并将数据包发送至物理三层网络。最终，数据包通过物 理三层网络中执行的本地路由，最终抵达目的地（192.168.100.10）。 在阐述了 NSX 分布式逻辑路由的流量模型之后，现在分析这样的部署与使用传统的物理网络部署相比有什么优势。

         在传统的物理网络中，对于同一个主机内的一个 Web 服务器与 App 服务器的通信，由 于它们处在不同网段，需要三层交换机来处理它们之间的流量，因此，流量在出主机后需 要经过 ToR 二层交换机去往核心交换机，再回到二层交换机并重新进入主机， 这需要 4 跳 连接。当然，如果 ToR 交换机开启了三层功能，通信则只需要 2 跳。而在 NSX 环境中， 由于直接在主机的 Hypervisor 层面实现了三层功能，因此， Web 服务器与 App 服务器是直 连的，它们之间的通信连接是 0 跳，如图 5.11 所示。值得注意的是，无论是 NSX-V 还是 NSX-MH 环境，就流量的跳数精简问题上，达成的效果都是一致的。

        对于不同主机之间的三层连接， NSX 环境也可以将在传统物理网络中需要的 4 跳 连接精简为 2 跳（如图 5.12 所示）。这是因为所有的虚拟机网关都位于 ESXi 主机的 Hypervisor 之上，并且是分布式部署的，因此三层流量只需要找到不同虚拟机之间的 最短路径即可。 就算是连接 ESXi 主机的 ToR 交换机是二层交换机，也能使得在不同 hypervisor 之上部署的网关进行 NSX 网络虚拟化内部的分布式路由处理，而无需经过 核心交换机。

5.1.5 物理路由器作为下一跳的部署模型

        不同的客户有不同的需求，针对不同的需求，则有不同的部署模型。就下一跳路由的 选择来看，部署模型又有两种：物理路由器作为下一跳； NSX Edge 服务网关作为下一跳。 首先讨论物理路由器作为下一跳的模型。一个企业有多个 Web 应用，每个应用都是典 型的三层模型—Web 层、 App 层、数据库层。每个应用之间、 Web 层与 App 层之间、 App 层与数据库层之间都需要相互通信，且 Web 层一般需要连接到外部网络。这个模型的逻辑 拓扑如图 5.13 所示。

在这个拓扑架构中，部署了分离的逻辑交换机为不同层级的虚拟机提供二层连接能力， 东西向的三层流量则发生在执行分布式路由数据平面功能的 ESXi 主机的 Hypervisor 之上。 逻辑路由配置允许不同层级之上的虚拟机相互通信。与之类似，在逻辑路由器上运行的动 态路由协议与下一跳的物理路由器可以建立邻居关系，这是南北向的流量。这样，就允许 外部的用户通过连接数据中心中的逻辑交换机，最终使用应用。 有时可能需要将数据库服务器部署在非虚拟化环境中，这样一来， App 层与数据库层 之间的东西向流量同样可能需要使用物理路由器作为路由下一跳，实现三层通信。

5.1.6 NSX Edge 作为下一跳的部署模型

        与物理路由器作为下一跳不同，另一种部署模式就是将 NSX Edge 服务网关作为下一 跳。 NSX Edge 服务网关会部署在物理路由器和分布式路由器中间，如图 5.14 所示。 在这种部署模式下， DLR Control VM 与 NSX Edge 在传输链路之上形成一对邻居关系。 同样，在这条传输链路上， NSX Edge 与物理网络连接，同样形成一对邻居。与物理路由器 作为下一跳相比，这种部署模型的好处如下。  分布式交换机与 NSX Edge 之间的 VXLAN 流量消除了对物理网络的依赖性。在 ESXi 主机中运行的虚拟机想要通过分布式路由器与外部网络通信时，就可以与 NSX Edge 建立 VXLAN 隧道，执行 VIEP 的封装与解封装，在解封装后再与外部 网络通信。

         在初始配置和部署阶段，就可以在逻辑网络和物理网络之间建立路由关系。在逻 辑空间增加的分布式路由器，不需要在物理网络进行任何配置更改，从而全面实 现逻辑和物理网络之间的解耦。

         在 NSX 与 VMware vCAC 集成时，不支持将物理路由器作为下一跳的部署模型， 但是使用将 NSX Edge 作为下一跳的部署模型时就不会出现这样的问题。

        由于有这些好处，因此在实际部署中一般选择这样的模式，而不直接将物理路由器作 为下一跳。但是这样的部署带来一个问题，就是南北向流量必须穿越 NSX Edge，这样带宽 可能成为性能瓶颈。后文在专门介绍 NSX Edge 时，会介绍如何将 NSX Edge 部署为双活模 式，或实现多路径的 ECMP，以解决这个问题。 在一些运营商和托管数据中心环境中会有很多租户，而每一个租户都可能有不同 的安全隔离、带宽、负载需求，可能需要部署物理或虚拟的负载均衡、防火墙或 VPN 设备。在这样的部署模型下， NSX Edge 服务网关还可以支持独立于动态路由的其他 功能。 如图 5.15 所示，多个租户通过 NSX Edge 连接到了外部物理网络。每个租户都有自己的逻辑路由器实例，在租户之间提供路由服务。动态路由配置会在逻辑路由器和 NSX Edge 之间产生，为租户的虚拟机提供与外部网络的连接。每个租户内部的东西向路由流 量由各 ESXi 主机 Hypervisor 上运行的分布式路由器负责，而南北向流量则由 NSX Edge 服务网关负责。这个拓扑中，为了不使得 NSX Edge 负担过大，因此将一个 NSX Edge 的 连接租户数限制为 9 个。在 NSX Edge 之上，为所有的虚拟机一共配备了 10 个虚拟接口 （ vNIC），其中一个是作为去往物理网络的上行链路接口。剩下的 9 个接口连接不同的逻 辑路由实例。

        在租户数量较多的情况下（如运营商或托管数据中心），可以进行如下部署（如图 5.16 所示）。配置多个 NSX Edge，分别连接多个租户，这些 NSX Edge 又汇聚到了一个 NSX Edge， 这个 NSX Edge 配置为 NSX Edge X-Larger（在第 7 章会阐述），它连接到外部网络。由于 这种规模的网络很可能出现 IP 地址重复的情况（比如租户 A 和租户 B 都表示需要 192.168.1.0 段的 IP 地址），因此需要在 NSX Edge 中配置 NAT， 以便使用重复 IP 地址的用 户在通过 NSX Edge X-Larger 访问外部网络时没有地址冲突。

5.2 NSX 逻辑路由的实验配置

        NSX 逻辑路由的实验以之前完成的实验为基础。我们先配置分布式路由器和 Edge 路 由器，之后在这两种路由器和外部物理网络之间实现全网 OSPF 动态路由。

5.2.1 配置和部署 NSX 分布式逻辑路由器

        创建、配置、部署 NSX 分布式逻辑路由器并连接到每一台逻辑交换机的步骤如下。 1．紧接着 4.3 节中逻辑交换机的配置部分。在屏幕左侧找到 NSX Edges 选项，在右侧 单击“+”进行创建，如图 5.17 所示。 2．弹出创建对话框后，由于需要创建分布式逻辑路由器，因此选择 Logical （Distributed） Router 并设置其名称，然后单击 Next，如图 5.18 所示。

3．设置逻辑路由器的用户名、密码，启用 SSH 和 HA 功能，如图 5.19 所示。

4．为逻辑路由器选择其所属的数据中心，并为其增加 NSX Edge Appliance，如图 5.20所示。

为增加的 NSX Edge Appliance 选择部署位置，如 Cluster/Resource Pool、 Datastore、 Host、
Folder，如图 5.21 所示。

配置完成后如图 5.22 所示。

5．进入接口配置环节。首先选择其管理接口的连接方式。这里选择了连接至分布式的端口组，而不是逻辑交换机，如图 5.23 所示。

配置完管理接口，就可以为分布式路由器配置逻辑接口。 这里配置了网关地址和掩码，如图 5.24 所示。

配置完逻辑接口并确认完毕后，继续配置 Edge 接口（用于连接内部的逻辑交换机），如图 5.25 所示。

由于 Edge 接口属于 NSX 环境内部，用于连接逻辑路由器与逻辑交换机，不进行上连， 因此在为其取名后，选择 Internal 模式，如图 5.26 所示。之后，为其增加子网，子网来自 之前创建的逻辑交换机。

通过同样的步骤将两台逻辑交换机都放入 Edge 接口中，完成配置后单击 Next，如图5.27 所示。
 

6．这里应当继续配置默认网关，但因为尚未连接上连设备，因此暂时不进行配置，直接单击 Next，如图 5.28 所示。

7．检查信息无误后，单击 Finish 完成配置，如图 5.29 所示。至此，分布式逻辑路由器配置完成。

8．可以在 NXS Edge 的列表中看到新建的分布式逻辑理由器，如图 5.30 所示。

9．可以通过命令行登录到两台逻辑交换机，查看其接口状态，如图 5.31 和图 5.32所示。

10．从一台逻辑交换机向跨网段的另一台逻辑交换机进行 ping 测试，发现网络已通，经验证，逻辑路由器已正常工作，如图 5.33 所示。

5.2.2 配置和部署 NSX Edge 路由器

1．重复之前的步骤，单击“+”，增加一个 NSX Edge，如图 5.34 所示。

2．在这里不再选择分布式路由器的选项，而是选择 Edge Services Gateway（Edge 服务 网关），如 图 5.35 所示。为其命名后，单击 Next。接下来的设置与之前创建分布式逻辑路 由器时基本类似，可以为 Edge 设置密码，开启 SSL、 HA 等功能（截图从略，可参考设置 分布式逻辑路由器的截图 ）。 3．增加一个 NSX Edge Appliance，步骤与部署逻辑路由器时相同，如图 5.36 所示。

4．观察到 NSX Edge Appliance 已增加。开始选择 Edge 所属的数据中心（Datacenter）， 并选择部署的 Size（实验环境下选择 Compact[紧凑型]即可），并勾选 Deploy NSX Edge（部 署 NSX Edge）复选框，如图 5.37 所示。

5． 单击 Next，开始 NSX Edge 接口的配置。单击“+”，增加相应接口，如图 5.38 所示。

首先给接口命名。由于该接口并不用于内部连接（不是连接逻辑交换机的接口）， 而是上连接口，因此接口类型选择 Uplink，并选择连接到的分布式端口组，如图 5.39 所示。

单击“+”，为 NSX Edge 增加子网。在弹出的对话框内单击“+”， 输入 IP 地址，并设置子网掩码，如图 5.40 所示。