一、VXLAN基础

——————————————————————————————————————————————————

1、VXLAN

随着网络技术的发展，云计算凭借其在系统利用率高、人力/管理成本低、灵活性/可扩展性强等方面表现出的优势，已经成为目前企业IT建设的新趋势。而服务器虚拟化作为云计算的核心技术之一，得到了越来越多的应用。

RFC定义了VLAN扩展方案VXLAN（Virtual eXtensible Local Area Network，虚拟扩展局域网）。VXLAN采用MAC in UDP（User Datagram Protocol）封装方式，是NVO3（Network Virtualization over Layer 3）中的一种网络虚拟化技术。

——————————————————————————————————————————————————

2、VXLAN解决的问题

服务器虚拟化技术的广泛部署，极大地增加了数据中心的计算密度；同时，为了实现业务的灵活变更，虚拟机VM（Virtual Machine）需要能够在网络中不受限迁移，这给传统的“二层+三层”数据中心网络带来了新的挑战。为了应对传统数据中心网络对服务器虚拟化技术的限制，VXLAN技术应运而生，其能够很好地解决如下问题：

一、针对虚拟机规模受设备表项规格限制

服务器虚拟化后，VM发生了数量级的增长，而接入侧二层设备的MAC地址表规格较小，无法满足快速增长的VM数量。

VXLAN将同一区域内的VM发出的原始报文封装成新的UDP报文，并使用物理网络的IP和MAC地址作为外层头，这样报文对网络中的其他设备只表现为封装后的参数。因此，极大降低了大二层网络对MAC地址规格的需求。

二、针对网络隔离能力限制

VLAN可用的数量仅4096个。对于虚拟化云计算服务这种多租户的场景，VLAN的隔离能力无法满足。

VXLAN引入了类似VLAN ID的用户标识，称为VXLAN网络标识VNI，支持多达16M的VXLAN段，有效地解决了云计算中海量租户隔离的问题。

三、虚拟机迁移范围受限

为了保证虚拟机迁移过程中业务不中断，则需要保证虚拟机的IP地址保持不变，这就要求虚拟机迁移必须发生在一个二层网络中。而传统的二层网络，将虚拟机迁移限制在了一个较小的局部范围内。

VXLAN将VM发出的原始报文进行封装后通过VXLAN隧道进行传输，隧道两端的VM不需感知传输网络的物理架构。即VXLAN技术在三层网络之上，构建出了一个虚拟的大二层网络，只要虚拟机路由可达，就可以将其规划到同一个大二层网络中。这就解决了虚拟机迁移范围受限问题。

——————————————————————————————————————————————————

总结

VXLAN特性在本质上属于一种VPN技术，能够在任意路由可达的网络上叠加二层虚拟网络，通过VXLAN网关实现VXLAN网络内部的互通，同时，也可以实现与传统的非VXLAN网络的互通。

VXLAN通过采用MAC in UDP封装来延伸二层网络，将以太报文封装在IP报文之上，通过路由在网络中传输，无需关注虚拟机的MAC地址。且路由网络无网络结构限制，具备大规模扩展能力。通过路由网络，虚拟机迁移不受网络架构限制。

——————————————————————————————————————————————————

3、VXLAN网络架构

VXLAN通过将原主机发出的数据包封装在UDP中，并使用物理网络的IP、MAC作为外层头进行封装，然后在IP网络上传输，到达目的地后由隧道终结点解封装并将数据发送给目标主机。

通过VXLAN，虚拟网络可接入大量租户，且租户可以规划自己的虚拟网络，不需要考虑物理网络IP地址和广播域的限制，降低了网络管理的难度，同时满足虚拟机迁移和多租户的需求。

类似于传统的VLAN网络，VXLAN网络也有VXLAN网络内互访和VXLAN网络间互访。

——————————————————————————————————————————————————

3.1、VXLAN网络内互访

通过VXLAN技术可以实现在已有三层网络上构建虚拟二层网络，实现主机之间的二层互通。

涉及的概念如下：

网络标识VNI

类似于传统网络中的VLAN ID，用于区分VXLAN段，不同VXLAN段的租户不能直接进行二层通信。一个租户可以有一个或多个VNI。

广播域BD

类似传统网络中采用VLAN划分广播域方法，在VXLAN网络中通过BD划分广播域。在VXLAN网络中，将VNI以1:1方式映射到广播域BD，一个BD就表示着一个广播域，同一个BD内的主机就可以进行二层互通。

VXLAN隧道端点VTEP

VTEP可以对VXLAN报文进行封装和解封装。一对VTEP地址就对应着一条VXLAN隧道。在源端封装报文后通过隧道向目的端VTEP发送封装报文，目的端VTEP对接收到的封装报文进行解封装。

虚拟接入点VAP

VXLAN业务接入点，可以基于VLAN或报文流封装类型。

◾基于VLAN接入业务：在VTEP上建立VLAN与BD的一对一或多对一的映射。这样，当VTEP收到业务侧报文后，根据VLAN与BD的映射关系，实现报文在BD内进行转发。

◾基于报文流封装类型接入业务：在VTEP连接下行业务的物理接口上创建二层子接口，并配置不同的流封装类型，使得不同的接口接入不同的数据报文。同时，将二层子接口与BD进行一一映射。这样业务侧报文到达VTEP后，即会进入指定的二层子接口。即根据二层子接口与BD的映射关系，实现报文在BD内进行转发。

网络虚拟边缘NVE

NVE是实现网络虚拟化功能的网络实体。报文经过NVE封装转换后，NVE间就可基于三层基础网络建立二层虚拟化网络。

二层网关

类似传统网络的二层接入设备，在VXLAN网络中通过二层网关解决租户接入VXLAN虚拟网络，也可用于同一VXLAN虚拟网络的子网通信。

——————————————————————————————————————————————————

3.2、VXLAN网络内互访（集中式网关）

不同BD之间的主机不能直接进行二层通信，需要通过VXLAN三层网关实现主机间的三层通信。

集中式网关是指将三层网关集中部署在一台设备上。所有跨子网的流量都经过三层网关进行转发，实现流量的集中管理。

涉及概念如下：

三层网关

不同VNI之间的VXLAN及VXLAN和非VXLAN之间也不能直接相互通信。为了使VXLAN之间，以及VXLAN和非VXLAN之间能够进行通信，引入了VXLAN三层网关的概念。

三层网关用于VXLAN虚拟网络的跨子网通信以及外部网络的访问。

VBDIF接口

类似于传统网络中采用VLANIF解决不同广播域互通的方法，在VXLAN中引入了VBDIF的概念。

VBDIF接口在VXLAN三层网关上配置，是基于BD创建的三层逻辑接口。通过VBDIF接口配置IP地址可实现不同网段的VXLAN间，及VXLAN和非VXLAN的通信，也可实现二层网络接入三层网络。

——————————————————————————————————————————————————

3.3、VXLAN网络内互访（分布式网关）

分布式网关是指将VXLAN二层网关和三层网关部署在同一台设备上。

VTEP设备既作为VXLAN网络中的二层网关设备，与主机对接，用于解决终端租户接入VXLAN虚拟网络的问题。同时也作为VXLAN网络中的三层网关设备，实现跨子网的终端租户通信，以及外部网络的访问。

仅BGP EVPN方式部署VXLAN网络时支持分布式网关。

VXLAN分布式网关具有如下特点：

同一个VTEP节点既可以做VXLAN二层网关，也可以做VXLAN三层网关，部署灵活。

VTEP节点只需要学习自身连接服务器的ARP表项，而不必像集中式三层网关一样，需要学习所有服务器的ARP表项，解决了集中式三层网关带来的ARP表项瓶颈问题，网络规模扩展能力强。

——————————————————————————————————————————————————

4、与VLAN对比

上面介绍VXLAN相关概念时与传统网络中的VLAN进行了对比，下面总结VXLAN与VLAN的差别。

VLAN&&VXLAN

网络形式

VLAN：将一个物理的LAN在逻辑上划分成多个广播域，并且将网络范围限制在一个较小的地域范围内。

VXLAN：在已有的任意路由可达的网络上叠加的二层虚拟网络，不受地域范围限制，具备大规模扩展能力。

可支持虚拟局域网范围

VLAN：数量仅4096个，对于公有云大型虚拟化云计算服务这种多租户的场景而言，VLAN的隔离能力无法满足。

VXLAN：支持多达16M（约1600万）租户隔离，有效地解决了云计算中海量租户隔离的问题。

网络划分方式

VLAN：通过VLAN ID划分广播域，同一个广播域之间的主机能进行二层互通。

VXLAN：通过BD划分广播域，同一个BD内的主机可以进行二层互通。

封装方式

VLAN：在报文中添加VLAN Tag。

VXLAN：原始报文在封装过程中先被添加一个VXLAN帧头，再被封装在UDP报头中，最后使用承载网络的IP、MAC地址作为外层头进行封装。

网络间互通方式

VLAN：互访通过VLANIF接口实现。

VXLAN：VXLAN间互访以及VXLAN和非VXLAN之间的通信通过VBDIF接口实现，基于BD创建的三层逻辑接口。

受益

VLAN：限制广播域：广播域被限制在一个VLAN内，节省了带宽，提高了网络处理能力。增强局域网的安全性：不同VLAN内的报文在传输时是相互隔离的。

VXLAN：位置无关性：业务可在任意位置灵活部署，缓解了服务器虚拟化后相关的网络扩展问题。

VXLAN：网络部署灵活性：在传统网络架构上叠加新的网络，部署方便，同时避免了大二层的广播风暴，可扩展性极强。

VXLAN：适合云业务：支持千万级别租户隔离，支持云业务的大规模部署。

VXLAN：技术优势：采用MAC in UDP封装方式，无需关注主机的MAC地址，降低了大二层网络对MAC地址规格的需求。

——————————————————————————————————————————————————

5、Underlay网络和Overlay网络的组合

建立VXLAN隧道的基础网络称为Underlay网络，VXLAN隧道所承载的业务网络称为Overlay网络。

在S交换机使用VXLAN特性时存在以下Underlay网络和Overlay网络的组合：

——————————————————————————————————————————————————

6、VXLAN报文封装格式

原始报文在封装过程中先被添加一个VXLAN帧头，再被封装在UDP报头中，并使用承载网络的IP、MAC地址作为外层头进行封装。

报文封装格式如图所示。

——————————————————————————————————————————————————

6.1、VXLAN报文格式说明

VXLAN header（VXLAN头封装）

VXLAN Flags：标记位，8比特，取值为00001000。
Group ID：用户组ID，16比特。当VXLAN Flags字段第一位取1时，该字段的值为Group ID。取0时，该字段的值为全0。
VNI：VXLAN网络标识，用于区分VXLAN段，由24比特组成，支持多达16M的租户。一个租户可以有一个或多个VNI，不同VNI的租户之间不能直接进行二层相互通信。
Reserved：保留未用，分别由8比特和8比特组成，设置为0。

Outer UDP header（外层UDP头封装）

DestPort：目的UDP端口号，设置为4789。
Source Port：源UDP端口号。对于含有IP头的以太报文，源UDP端口号根据ecmp load-balance配置的因子进行HASH计算。对于不含IP头的以太报文，源UDP端口号根据报文的源MAC和目的MAC进行HASH计算得出。

Outer IP header（外层IP头封装）

IP SA：源IP地址，VXLAN隧道源端VTEP的IP地址。
IP DA：目的IP地址，VXLAN隧道目的端VTEP的IP地址。

Outer Ethernet header（外层Ethernet头封装）

MAC DA：目的MAC地址，为到达目的VTEP的路径上，下一跳设备的MAC地址。
MAC SA：源MAC地址，发送报文的源端VTEP的MAC地址。
802.1Q Tag：可选字段，该字段为报文中携带的VLAN Tag。
Ethernet Type：以太报文类型，IP协议报文中该字段取值为0x0800。

——————————————————————————————————————————————————

7、VXLAN接入方式

在VXLAN网络中，将VNI以1:1方式映射到广播域BD。当报文到达VTEP后，VTEP只要能够识别出报文所属的BD，就能够选择正确的VXLAN隧道进行转发。VTEP有两种方式识别报文所属的VXLAN。

——————————————————————————————————————————————————

7.1、基于VLAN识别报文所属的VXLAN

基于网络规划，在VTEP上建立VLAN与BD的一对一或多对一的映射。这样，当VTEP收到业务侧报文后，根据VLAN与BD以及BD与VNI的对应关系即能够选择相应的VXLAN隧道进行转发。

如图：

VLAN 10与VLAN 20同属于BD 10，VTEP上存在BD 10与VLAN 10和VLAN 20的对应关系，同时BD 10对应的VXLAN的VNI为1000。这样当VTEP接收到PC_1或PC_2的报文时，就能够选择正确的VXLAN隧道进行转发。

配置VXLAN网络采用VLAN方式接入时，若绑定BD域的VLAN对应接口的PVID时，不支持携带多层VLAN Tag且外层VLAN为PVID的报文接入VXLAN网络。

配置VXLAN网络采用VLAN方式接入时，不支持报文通过接口类型为dot1q-tunnel的接口接入VXLAN网络。

——————————————————————————————————————————————————

7.2、基于报文流封装类型识别报文所属VXLAN

报文的流封装类型可概括分为携带指定VLAN Tag与不携带VLAN Tag两种。基于此，在VTEP连接下行业务的物理接口上创建二层子接口，并配置二层子接口对报文的不同处理方式，同时将二层子接口与BD进行一一映射。这样业务侧报文到达VTEP后，即会进入指定的二层子接口。VTEP即能够根据二层子接口与BD的映射关系，以及BD与VNI的映射关系，选择正确的VXLAN隧道进行报文转发。

不同流封装类型的二层子接口对报文的缺省处理方式分为四种。

流封装类型dot1q

只允许携带指定的一层VLAN Tag的报文进入VXLAN隧道。进行VXLAN封装时，会剥离原始报文的VLAN Tag。进行VXLAN解封装后，会根据子接口上dot1q终结配置的vid为报文添加VLAN Tag，再转发。

流封装类型untag

只允许不携带VLAN Tag的报文进入VXLAN隧道。进行VXLAN封装时，不对原始报文做处理，即不添加任何VLAN Tag。进行VXLAN解封装后，不对报文做处理，包括VLAN Tag的添加、替换或剥离。

流封装类型default

允许所有报文进入VXLAN隧道，不论报文是否携带VLAN Tag。进行VXLAN封装时，不对原始报文做处理，包括添加、替换或剥离。进行VXLAN解封装后，不对报文做处理，包括VLAN Tag的添加、替换或剥离。

流封装类型QinQ

只允许带有指定的两层VLAN Tag的报文进入VXLAN隧道。进行VXLAN封装时，会剥离原始报文的所有VLAN Tag。进行VXLAN解封装后：X系列单板：根据子接口上QinQ终结配置的ce-vid和pe-vid为报文添加两层VLAN Tag，再转发。

如图：

VTEP基于物理接口GE1/0/1有两个子接口，不同的流封装类型与不同的BD进行绑定。

PC_1与PC_2分别属于VLAN 10和VLAN 30，二层交换机上行连接VTEP的接口上配置的接口类型是Trunk，允许通过的VLAN为10和30，PVID为VLAN 30。

当PC_1发出的报文经过该接口时，由于接口的缺省VID与报文的VID不同，直接透传该报文到VTEP。

当PC_2发出的报文经过该接口时，由于报文的VID与接口的缺省VID相同，剥离VID=30的Tag。

因此，PC_1与PC_2发出的报文到达VTEP的GE1/0/1接口时，一个是携带VLAN 10的，一个是不携带VLAN Tag的。为了区分两种报文，就必须要在GE1/0/1上分别创建dot1q和untag类型的二层子接口：

创建二层子接口GE1/0/1.1流封装类型为dot1q，允许携带指定VLAN Tag为10的报文进入VXLAN隧道。
创建二层子接口GE1/0/1.2流封装类型为untag，允许不携带VLAN Tag的报文进入VXLAN隧道。

当PC_1或PC_2的报文到达VTEP时，根据报文的Tag情况选择进入不同的二层子接口，之后，VTEP根据子接口与BD，以及BD与VNI的映射关系，即能够选择正确的VXLAN隧道进行报文转发。

——————————————————————————————————————————————————

8、VXLAN隧道建立方式

VXLAN隧道由一对VTEP IP地址确定，报文在VTEP设备进行封装之后在VXLAN隧道中依靠路由进行传输。在进行VXLAN隧道的配置之后，只要VXLAN隧道的两端VTEP IP是三层路由可达的，VXLAN隧道就可以建立成功。

VXLAN隧道分为以下两种：

静态隧道：通过用户手工配置本端和远端的VNI、VTEP IP地址和头端复制列表来完成。静态配置隧道的方式仅支持VXLAN集中式网关场景。

动态隧道：通过BGP EVPN方式动态建立VXLAN隧道。在两端VTEP之间建立BGP EVPN对等体，然后对等体之间利用BGP EVPN路由来互相传递VNI和VTEP IP地址信息，从而实现动态建立的VXLAN隧道。通过BGP EVPN动态建立隧道的方式既支持VXLAN集中式网关场景，同时也支持VXLAN分布式网关场景。

——————————————————————————————————————————————————