初探Openstack Neutron DVR

作者：Liping Mao  发表于：2014-09-10
版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明

目前在Juno版本的trunk中已经合入了DVR相关的代码，我的理解是在Juno版本中DVR是一个experimental feature。最好需要稳定一个版本以后再上生产环境。之前写过一篇博文是DVR相关的，当时代码还没有实现，与实际的实现有一些出入。当前的DVR的实现是基于VXLAN的。关于VXLAN的优势，有时间会写一些体会，今天暂且不谈。

建议先看一下以下文档，对DVR有一些了解:

https://docs.google.com/presentation/d/1ktCLAdglpKdsC--fQ2F_c2d3X1u-lyRGGUzRu9ITuWo/edit#slide=id.g2b6a14e30_036
https://docs.google.com/presentation/d/1ktCLAdglpKdsC--fQ2F_c2d3X1u-lyRGGUzRu9ITuWo/edit#slide=id.g2b6a14e30_030

首先看一下，没有使用DVR的问题在哪里：

从图中可以明显看到东西向和南北向的流量会集中到网络节点，这会使网络节点成为瓶颈。

那如果启用的DVR，情况会变成如下：

对于东西向的流量， 流量会直接在计算节点之间传递。

对于南北向的流量，如果有floating ip，流量就直接走计算节点。如果没有floating ip，则会走网络节点。

我的实验环境如下：

然后起了两个私有网络和一个DVR 路由器，拓扑如下:

注:

可以看到每个网络与DVR连接时有两个接口，以private1为例，有10.0.1.1和10.0.1.6。

可以看到10.0.1.6是centralized_snat的网关，这个地址是在网络节点上的。

10.0.1.1是router_interface_distributed地址，它是在每一个计算节点上的。虚机获取到的默认网关就是这个IP。

虚机情况如下：

注: 

虚机privateX-computeY-VM表示，此虚机起在privateX网络，computeY节点上。在compute1节点的两台虚机拥有floating ip。

下面分析三种情况下traffic的是怎么走的：

1. 东西向流量：以private1-compute1-VM和private2-compute2-VM之间的通信为例。

2. 南北向流量：

    a) 带floating ip， 以private1-compute1-VM对外通信为例。

    b) 不带floating ip， 以private1-compute2-VM对外通信为例。

第一种情况 -- 东西向流量

首先我们看一下虚机private1-compute1-VM的IP和路由:

再看一下虚机private2-compute2-VM的IP和路由:

我们在private1-compute1-VM中ping 10.0.2.5(private2-compute2-VM的IP)。

当我们ping了之后，在首先会查询private1-compute1-VM的路由表，会将包发送到网关10.0.1.1。那么会首先会发送10.0.1.1的arp请求。

arp请求会发送到br-int上。

我们可以看到10.0.1.5的port id是4e843b99开头的：

最终会转发到br-int的qvo4e843b99-fb:

root@dvr-compute1:~# ovs-vsctl show
67f121bd-cca7-41c2-95ab-23ed85d1305b
    Bridge br-tun
        Port patch-int
            Interface patch-int
                type: patch
                options: {peer=patch-tun}
        Port "vxlan-0ae09f91"
            Interface "vxlan-0ae09f91"
                type: vxlan
                options: {df_default="true", in_key=flow, local_ip="10.224.159.141", out_key=flow, remote_ip="10.224.159.145"}
        Port "vxlan-0ae09f88"
            Interface "vxlan-0ae09f88"
                type: vxlan
                options: {df_default="true", in_key=flow, local_ip="10.224.159.141", out_key=flow, remote_ip="10.224.159.136"}
        Port br-tun
            Interface br-tun
                type: internal
    Bridge br-int
        fail_mode: secure
        Port "qvo111517d8-c5"
            tag: 2
            Interface "qvo111517d8-c5"
        Port patch-tun
            Interface patch-tun
                type: patch
                options: {peer=patch-int}
        Port "qr-001d0ed9-01"
            tag: 2
            Interface "qr-001d0ed9-01"
                type: internal
        Port br-int
            Interface br-int
                type: internal
        Port "qr-ddbdc784-d7"
            tag: 1
            Interface "qr-ddbdc784-d7"
                type: internal
        Port "qvo4e843b99-fb"
            tag: 1
            Interface "qvo4e843b99-fb"
    Bridge br-ex
        Port br-ex
            Interface br-ex
                type: internal
        Port "fg-081d537b-06"
            Interface "fg-081d537b-06"
                type: internal
    ovs_version: "2.0.2"

而端口qvo4e843b99-fb是属于vlan 1的，arp广播包会转发到"qr-ddbdc784-d7"和"patch-tun"。

首先看"qr-ddbdc784-d7"，这是interface_distributed的接口：

这个接口是在compute node的的DVR中的：

root@dvr-compute1:~# ip netns
fip-fbd46644-c70f-4227-a414-862a00cbd1d2
qrouter-0fbb351e-a65b-4790-a409-8fb219ce16aa
qdhcp-401f678d-4518-446c-9a33-cd2fb054c104
qdhcp-db755841-0764-4a8f-b962-8df008ce6330

root@dvr-compute1:~# ip netns exec qrouter-0fbb351e-a65b-4790-a409-8fb219ce16aa ifconfig
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)