VXLAN与园区网络虚拟化

VXLAN及园区网络虚拟化技术

1. 技术背景：虚拟化被企业广泛部署

虚拟化优势：降低IT成本、提高业务部署灵活性和降低运维成本等
在企业选择虚拟化架构后，业务将以虚拟机方式部署于服务器集群中

2. 网络的新需求

（1）二层扩展：

    虚拟化/云计算集群内允许虚拟机任意迁移，导致相同业务（相同网段）虚拟机可能运行在不同的服务器，
    或同一个虚拟机（一个IP）先后运行在不同的服务器。——需要大二层网络解决此问题

（2）多租户隔离：

    云化场景一般支持多租户，即不同用户共享物理资源。
    租户间隔离：租户可能配置相同的MAC和IP地址，需要考虑物理网络承载隔离的问题，并且存在海量的用户需要进行隔离。
    租户内互访：租户内相同网段能够直接进行二层通信，即便处于不同物理位置的机房中。

3. 传统网络面临的问题

（1）虚拟机规模受设备表项规格限制
（2）网络隔离能力限制
（3）虚拟机迁移范围受限

VXLAN的基本概念及工作原理

基本概念

1. 概述

（1）简介

本质：是一种VPN技术
Underlay网络：即物理网络，作为构架上层逻辑网络的基层。
Overlay网络：在物理网络上通过隧道技术搭建的逻辑网络。
VXLAN采用MAC in UDP封装来延申二层网络，将以太报文封装在IP报文之上，通过路由在网络中传输，无需关注虚拟机的MAC地址。
且三层网络无网络结构限制，具备大规模扩展能力。
通过路由网络，虚拟机迁移不受网络架构限制。

（2）VXLAN在数据中心的应用

 在数据中心中采用Spine-Leaf两层物理架构，结合VXLAN应用：
 Spine节点执行路由转发，转发时不感知VXLAN；Leaf节点负责资源接入，完成VXLAN封装及解封装。
 数据中心的业务均由VXLAN承载。

（3）在园区网络中使用VXLAN实现“一网多用”

     通过引入虚拟化技术，在园区网络中基于一张物理网络创建多张虚拟网络（Virtual Network，VN），不同的虚拟网络应用于不同的业务。
     为什么？
        VXLAN可构建在任意复杂的三层网络之上；
        支持三层虚拟网络；
        搭配SDN控制器实现集中部署及自动化，已有成功实践。

2. VXLAN的报文格式

3. 基本概念

（1）NVE（网络虚拟边缘）：

     是实现网络虚拟化功能的网络实体，可以是硬件交换机也可以是软件交换机。
     NVE在三层网络上构建二层虚拟网络，是运行VXLAN的设备。

（2）VTEP（VXLAN隧道端点）：

     位于NVE中，用于VXLAN报文的封装和解封装；
     VXLAN报文中源IP地址为源端VTEP的IP地址，目的IP地址为目的端VTEP的IP地址。

（３）VNI（VXLAN网络标识）和BD（桥域）

     VNI：
          类似VLAN ID，用于区分VXLAN段，不同VXLAN段的虚拟机不能直接二层相互通信。
          一个租户可以有一个或多个VNI，VNI长度为24 bit，支持多达16 M的租户。
     BD：
          类似传统网络中采用VLAN划分广播域，在VXLAN网络中一个BD就标识一个大二层广播域。
          VNI以1:1方式映射到广播域BD，同一个BD内的终端可以进行二层互通。

（4）VAP（虚拟接入点）：

     实现VXLAN的业务接入；
     VAP有两种配置方式，二层子接口方式或者VLAN绑定方式。

（5）Border、Edge

     Edge：VXLAN网络的边缘接入设备，传统网络的流量由此进入VXLAN网络；
     Border：VXLAN网络和外部网络通信的节点，用于外部流量进入VXLAN网络或VXLAN网络流量访问外部。

（6）VXLAN网关

     二层（L2）网关：实现流量进入VXLAN网络，也可用于同一VXLAN网络内终端的同子网通信。
     三层（L3）网关：用于VXLAN网络内终端的跨子网通信以及终端对外部网络的访问。
     BFDIF：类似于传统网络中采用VLANIF实现不同广播域互通，在三层网关上配置，是基于BD创建的三层逻辑接口
                  通过VBDIF接口可实现不同网段的用户通过VXLAN网络通信，及VXLAN网络和非VXLAN网络间的通信，也可实现二层网络接入三层网络
     集中式网关：L3网关部署在一台设备上，所有跨子网的流量都通过该设备转发，实现流量的集中管理。
           优点：跨子网流量集中管理，简化网关部署和管理；
           缺点：转发路径并非最优、ARP表项规格瓶颈
     分布式网关：VTEP设备既是L2网关，又是L3网关；非网关节点对VXLAN隧道不敢吱，仅作为VXLAN报文的转发节点。
           优点：VTEP节点只学习连接在本节点下终端的ARP表项，解决了集中式三层网关带来的ARP表项瓶颈问题，网络规模扩展能力强。
           缺点：相对集中式部署配置、实现复杂，部署工程量大。

工作原理

1. 隧道建立

建立方式：
   静态隧道：通过用户手工配置本端和远端的VNI、VTEP IP地址和头端复制列表（head-end peer-list）来完成
           静态VXLAN隧道并不是一个有状态的隧道（如IPsec VPN），只是数据传输时的隧道封装，类似于GRE VPN
           头端复制列表中的地址，即进行隧道封装传输时可封装的隧道目的地址
  动态隧道：通过BGP EVPN方式动态建立VXLAN隧道

2. MAC地址学习

VXLAN实现的是在Overlay网络中进行二层转发，转发单播数据帧依赖的依旧是MAC地址表项。
VTEP接收到BD内来自本地的数据帧，将数据帧的源MAC地址添加到该BD的MAC地址表中，出接口为收到数据帧的接口。
该表项用于指导发往本VTEP下连接终端的数据帧的转发。
转发属于远端VTEP下所连接设备的数据帧，需要先学习到远端设备的MAC地址。
该过程与传统MAC地址表形成过程类似，依赖于主机之间的报文交互，一般通过ARP报文交互形成MAC地址表项。

3. 数据帧转发

（1）同子网已知目的地址单播报文转发
（2）BUM流量转发
     BUM（广播、未知、组播）
     传输BUM流量时，VTEP会将流量复制多份发送到头端复制列表中的对端VTEP，
     从而在Overlay网络中实现泛洪转发的效果。

（3）跨子网转发

基本配置

BGP EVPN

1. 基本概念

（1）使用BGP EVPN作为控制面协议

     设备使能BGP EVPN，建立BGP EVPN对等体关系
     设备之间通过BGP EVPN路由通告，完成VXLAN控制面的相关工作
     VXLAN隧道通过BGP EVPN自动建立，转发表项通过BGP EVPN动态刷新

（2）BGP EVPN概述

     BGP EVPN路由可以用于传递VTEP地址和主机信息，因此BGP EVPN应用于VXLAN网络中，可以使VTEP发现和主机信息学习从数据平面转移到控制平面
           Type 2路由（MAC/IP路由）：用于主机MAC地址/ARP/IP路由通告
           Type 3路由（Inclusive Multicast路由）：用于传递二层VNI和VTEP IP地址信息，
           实现VTEP的自动发现和VXLAN隧道的动态建立，实现BUM报文转发
           Type 5路由（IP前缀路由）：用于主机MAC地址/ARP/IP路由通告，外部网络路由通告

（3）EVPN NLRI

     EVPN NLRI通过路径属性MP_REACH_NLRI携带，地址族标识符（AFI）为25，代表L2VPN，子地址族标识符（SAFI）为70

（4）Extended Community

     EVPN实例存在RD和RT值，传递路由时使用扩展团体属性携带EVPN实例RT值
     BGP EVPN新增加子类型：MAC Mobility、EVPN Router’s MAC Extended Community

（5）EVPN VPN-Instance

     EVPN实例与BD进行绑定，BD下的MAC地址表项会通过BGP EVPN路由进行传递，在传递时会携带BD绑定的EVPN实例ERT值，对端收到之后对比本地EVPN实例的IRT值，将EVPN路由放入对应的EVPN实例路由表，同时解析EVPN路由表获取MAC地址表项，放入本端与该EVPN实例绑定的BD的MAC地址表中

2. BGP EVPN路由

（1）Type 2路由

  主要用于MAC地址通告、ARP信息通告以及主机IP路由通告，场景不同携带的内容也并不一致
  主机MAC地址通告：
      功能：主要用于实现VXLAN同子网互访。
      携带内容：主机MAC信息、二层VNI
  主机ARP通告：
        功能：主要用于实现主机ARP通告
        携带内容：主机IP信息、主机MAC信息、二层VNI
  主机IP路由通告：
        分布式网关下的跨子网通信
        分布式网关组网中VTEP设备既是L2网关，又是L3网关，其实现方式分为：非对称IRB转发、对称IRB转发
     非对称IRB转发：Ingress VTEP同时执行L3、L2查表转发，Egress VTEP只需要进行L2查表、转发
     对称IRB转发：Ingress VTEP、Egress VTEP都执行L3查表转发，VBDIF接口需要绑定IP VPN实例
     EVPN RT、IP VPN RT：
      检查该路由携带的RT，如果与本端EVPN实例的Import RT相同，则接收该路由。
      EVPN实例获取到IRB类型路由后，还能提取到其中包含的ARP类型路由，用于主机ARP通告。
      VPN实例获取到该路由携带的IRB类型路由，从中提取的主机IP地址、三层VNI，
     	 在其路由表中保存主机IP路由，并根据路由的下一跳迭代出接口，
   	     最终迭代结果是指向VTEP的VXLAN隧道
     只有当路由携带的RT值与EVPN IRT、IP VPN IRT（EVPN）都不相同时，该路由才会被丢弃
     对称IRB转发：主机IP路由通告 (IRB路由)：
        通过EVPN Router’s MAC Extended Community这一扩展团体属性子属性，BGP EVPN传递VTEP自身的Router MAC，该MAC地址为NVE接口的MAC地址

（2）Type 3路由

     主要用于VTEP的自动发现和VXLAN隧道的动态建立
     作为BGP EVPN对等体的VTEP，通过Inclusive Multicast路由互相传递二层VNI和VTEP IP地址信息
     其中，Originating Router's IP Address字段为本端VTEP IP地址，MPLS Label字段为二层VNI
     VTEP通过Type 3路由互相传递二层VNI和VTEP IP地址信息。如果对端VTEP IP地址是三层路由可达的，则建立一条到对端的VXLAN隧道。
     同时，如果对端VNI与本端相同，则创建一个头端复制列表，用于后续BUM报文转发。

（3）Type 5路由

     该类型路由的IP Prefix Length和IP Prefix字段既可以携带主机IP地址，也可以携带网段地址
     主要用于分布式网关场景中的主机IP路由通告
     当携带网段地址时，通过传递该类型路由，可以实现VXLAN网络中的主机访问外部网络
     对于VXLAN外部网络，VTEP可以通过Type 5类路由将外部路由通告到整个VXLAN网络中，用于指导VXLAN内部主机访问外部网络

3. BGP EVPN特性

（1）ARP广播抑制

     通过BGP EVPN路由实现ARP广播抑制功能，减少广播流量
     ARP广播抑制功能是一种有效缓解网关处理ARP报文的压力的方法。
     当网关收到ARP请求报文时，会查询ARP广播抑制表，该表保存了目的设备的IP与MAC地址的映射关系，
     如果命中表项，则直接将ARP请求报文中的广播MAC地址替换为目的设备的MAC地址，
     随后网关将ARP请求报文从目的MAC对应的端口发送出去。

（2）主机信息收集

     默认情况下L3网关不会由本地的ARP信息生成BGP EVPN路由，需要手动使能BGP EVPN主机信息收集功能

（3）本地ARP代理

     L3网关的VBDIF接口上开启本地ARP代理，VBDIF接口会响应下连主机对同网段IP地址的ARP请求，
     之后对该同网段IP的访问可以由L3网关进行三层转发完成
     通过本地ARP代理机制，ARP报文的传递将会被抑制在本地VTEP之下，同时减少了VTEP之间的不必要流量交互

（4）分布式网关

     开启分布式网关之后，VTEP只处理收到的用户侧主机发送的ARP报文，删除已经学到的网络侧的ARP表项

（5）MAC Mobility

     用于当一个主机/VM从一个VTEP启动到另外一个VTEP之下时，对外宣告该主机的位置移动

园区网络虚拟化

1. VXLAN虚拟园区网络层次及概念

（1）Underlay（物理网络层）：
     由物理设备建立的物理网络
     为园区内所有业务提供互联互通能力
     业务数据转发的基础承载网
（2）Fabric（结构）：
     通过虚拟化技术，构建基于任意物理拓扑的逻辑拓扑
     在Fabric上创建业务网络，与物理网络解耦
（3）Overlay（虚拟网络层）：
     可以根据业务需求创建多个虚拟网络，实现业务隔离
     通过VXLAN实现L2及L3通信

2. 架构概述：网络节点

     防火墙（Firewall）节点：部署L4~L7安全策略时需该节点，可旁挂部署，或部署在园区出口处
     边界网关（Border）节点：用于实现Fabric和外部网络之间的互联互通，一般为核心交换机
     边缘（Edge）节点：Fabric边缘设备，用于连接用户侧设备及Fabric，有线用户的数据从边缘节点进入VXLAN封装
     透传（Transparent）节点：Fabric的透传节点，无需支持VXLAN
     接入节点：也被称为扩展（Extended）节点，这是有线用户的接入节点，该节点为可选节点，用户可以从这里接入网络，接入节点无需支持VXLAN
     AP：无线接入节点，用户从这里接入无线网络，并最终接入Fabric

3. Underlay、Fabric、Overlay

（1）Underlay网络
     可表现为多层架构（核心、汇聚及接入层）
     可表现为多种拓扑（树状、环状、网状等）
     Underlay信息主要包含设备互联VLAN、IP地址及IGP
（2）Fabric网络
     园区Fabric是一个物理网络设备抽象后的网络资源池，Fabric将Underlay网络资源池化，以便实现“一网多用”
     Fabric的信息主要包含如下：
          终端接入的Overlay网络资源池（BD-ID、VNI）
          终端接入的VLAN ID池
          终端的接入点池（交换机端口或SSID，即有线或无线接入）等这些资源池可用于创建多个虚拟网络
（3）Overlay
     Overlay是一个基于物理网络、采用隧道技术且实现了转发面和控制面分离的逻辑网络

4. VN

（1）什么是VN（虚拟网络）

     使用VXLAN能够在Underlay网络上构建若干个VN（Virtual Network，虚拟网络，通过VXLAN VNI+IP VPN-Instance隔离实现）
     VN被视为Overlay网络
     每个虚拟网络的业务数据在Fabric内都通过VXLAN进行封装，
     以便实现转发面的隔离；控制面使用的协议是BGP EVPN，
     该协议用于构建VXLAN隧道、交互Overlay路由信息
     每个VN都包含如下参数：
           网络服务资源（DHCP服务器、第三方RADIUS/Portal服务器等）
           外部网络（可选）
           用户IP地址段、VLAN及网关地址
           有线接入端口和（或）无线接入点
           其他参数

（2）创建VN

     1）VN设置
           用户网关位置
           外部网络
           网络服务资源
           用户子网及网关
     2）有线接入
           接入站点、设备及端口
           认证方式
           VLAN信息
     3）无线接入：接入站点、设备