VLAN 模式下的 OpenStack 管理 vSphere 集群方案

最新推荐文章于 2024-08-08 16:15:46 发布
最新推荐文章于 2024-08-08 16:15:46 发布
阅读量222 收藏
点赞数
文章标签： 运维 python 网络

 

关于为什么要用OpenStack 管理 vSphere 集群，原因可以有很多，特别是一些传统企业中 VMware 的使用还是很普遍的，用 OpenStack 纳管至少会带来存量VMware环境管理上的便捷性。

1. 部署架构

 

 

 

节点网卡数网卡用途
KVM宿主机4

10G：存储网络

10G：SDN网络

1G：管理网络

1G: IPMI网络

ESXi 宿主机5

HBA：存储网络

10G：SDN网络

10G：vmKernel 网络

1G：管理网络

1G: IPMI网络

 

说明：

  • vDS_tenant 是一个vSphere分布式交换机。因为它没有绑定物理网卡，所以它实质上是一个本地交换机+全局管理。它只处理同一个ESXI上同一个虚拟网络的虚机之间的流量。下面的『有趣的环路』部分会详细阐述。
  • vDS_SDN 是一个vSphere分布式交换机。它支持两个网络流量：一种是跨ESXI 但同虚拟网络的虚机之间的网络流量，以及在一个 ESXI 内虚机出宿主机的网络流量。因此，它需要跨宿主机通信，所以需要绑定物理网卡。
  • vmKernel 网络也需要支持跨宿主机通信，因此也需要绑定物理网卡。
  • 另外还需要考虑物理网卡高可用，因此还需要添加更多的网卡。

2.组件

本质上，OpenStack 将 vSphere Cluster 作为一 Nova compute 节点。OpenStack Nova 负责将虚机调度到 vSphere Cluster 上（该调度可以基于AZ），然后 vSphere DRS 负责虚机在集群内部的调度。

 

备注：OVSvAPP 方案只是多个候选方案中的一种。 

2.1 cinder volume 的 vcdriver

使用：  volume_driver=cinder.volume.drivers.vmware.vmdk.VMwareVcVmdkDriver

过程：cinder-volume 从MQ 接收到请求后，驱动 vcdriver 连接 vCenter 调用其 API 执行操作。

功能：支持的功能包括：

  • Create, delete, attach, and detach volumes.
  • Create, list, and delete volume snapshots.
  • Create a volume from a snapshot.
  • Copy an image to a volume.
  • Copy a volume to an image.
  • Clone a volume.
  • Backup a volume.
  • Restore backup to new or existing volume.
  • Change the type of a volume.
  • Extend a volume

2.2 nova-compute 的 vcdriver

我们使用 compute_driver = vmwareapi.ovsvapp_vc_driver.OVSvAppVCDriver，其配置如下：

[vmware]
host_ip=<vCenter 的IP地址>
host_username=<vCenter admin username>
host_password=<vCenter admin password>
cluster_name=<vSphere Cluster name>
datastore_regex=compute*
wsdl_location=https://<host_ip>/sdk/vimService.wsdl

代码在 https://github.com/openstack/networking-vsphere/blob/master/networking_vsphere/nova/virt/vmwareapi/ovsvapp_vc_driver.py。

2.3 镜像处理

我们没有使用 vsphere 作为 glance 的 backend store，而是把镜像放在 ceph 之中。

glance image-show a88a0000-0000-42dd-9b5f-ee0fbf313cf1
+------------------+----------------------------------------------------------------------------------+
| Property         | Value                                                                            |
+------------------+----------------------------------------------------------------------------------+
| checksum         | 0000000000000000000000000                                                 |
| container_format | bare                                                                             |
| created_at       | 2016-07-19T01:15:33Z                                                             |
| direct_url       | rbd://6dc80000-2675-4f31-0000-b818f00d178c/pool-0/a88a0000-0000-42dd-9b5f-  |
|                  | ee1fbf313cf1/snap                                                                |
| disk_format      | vmdk                                                                             |
| hw_disk_bus      | scsi                                                                             |
| hw_scsi_model    | paraVirtual                                                                      |
| id               | a88a0000-0000-42dd-9b5f-ee1fbf313cf1                                             |
| img_hv_type      | vmware                                                                           |
| min_disk         | 0                                                                                |
| min_ram          | 0                                                                                |
| name             | debian.vmdk                                                                      |
| owner            | 00000000000000000                                                 |
| protected        | False                                                                            |
| size             | 1073741824                                                                       |
| status           | active                                                                           |
| tags             | []                                                                               |
| updated_at       | 2016-10-17T06:24:48Z                                                             |
| virtual_size     | None                                                                             |
| visibility       | private                                                                          |
| vmware_disktype  | eagerZeroedThick                                                                 |
+------------------+----------------------------------------------------------------------------------+

 nova-compute 首先从分布式存储中下载镜像文件到本地，然后 nova 的 vmware driver 会通过 HTTP 将镜像传送到 vSphere datastore。相关代码可参考 https://github.com/openstack/nova/blob/master/nova/virt/vmwareapi/vmops.py。这么做的好处是可以统一KVM和VMware镜像的管理方式，但是会导致新镜像第一次创建虚机时间较长。

3. 网络

我们采用 OVSvAPP 网络方案，链接在这里 https://wiki.openstack.org/wiki/Neutron/Networking-vSphere。 我们采用 VLAN 网络模式。

3.1 架构

3.2 租户网络流向

3.2.1 各场景网络包路线示意图

红线：DVS1 中，OVSvAPP agent 会为每个 network 创建一个全局性 port group，如图中 ESXi 节点1 上的 Port Grp 7。若 VM1 和 VM2 在同一个 vlan 中，两者的通讯会直接在 Port Grp 7 内进行。

紫线：ESXi 2 上，VM2 和 VM3 在两个 vlan 上。网络包从 VM2 出发，首先经过 ESX2 上的 OVSvAPP 虚机，再经过 vDS_SDN 出宿主机，然后经过网络节点做路由交换，再经过 vDS_SDN 返回ESX2 上的 OVSvAPP 虚机，再到达 VM3。图中的紫线其实有点误导，因为它实际上出了ESXI 到了网络节点（Network Node）。

绿线：ESX1 上的 VM3 和 ESXi2 上的 VM2 在同一个 vlan 上，但是分开在两个宿主机上。两者的通讯需要经过 ESX1 上的 OVSvAPP 虚机，再经过 vDS_SDN 分布式交换机，再达到 ESX2 上的OVSvAPP 虚机，再达到 VM2.

黄线：ESXi1 上的 VM2 和  ESXi 2 上的 VM1 在不同的 vlan 上，且分在两个宿主机上。两者的通讯需要经过各自宿主机上的 OVSvAPP 虚机以及网络节点。

3.2.2 br-int 的流表
#这是从端口5（br-ens192） 也就是dVS_SDN 进来的也就是从宿主机外面发过来的网络包，到有物理的 vlan id。修改 vlan id 后，发到端口1 也就是到 br-sec 去，再到 dVS_tenant
n_packets=110820815, n_bytes=7396114366, idle_age=0, hard_age=65534, priority=4,in_port=5,dl_vlan=192 actions=mod_vlan_vid:3,output:1

#把从端口1 也就是 br-sec 进来的包也就是虚机发出的包发到端口5 也就是 br-ens192也就是物理网卡
n_packets=16326229471, n_bytes=26270964185221, idle_age=0, hard_age=65534, priority=4,in_port=1,dl_vlan=2 actions=output:5

其主要职责是把物理 vlan id （dl_vlan）修改为内部的 vlan id，然后再发到合适的端口。

3.2.3 br-ens192 的流表
hard_age=65534, priority=10,rarp,in_port=2 actions=NORMAL
hard_age=65534, priority=4,in_port=2,dl_vlan=3 actions=mod_vlan_vid:192,output:1hard_age=65534, priority=4,in_port=2,dl_vlan=2 actions=mod_vlan_vid:160,output:1hard_age=65534, priority=4,in_port=2,dl_vlan=5 actions=mod_vlan_vid:224,output:1hard_age=65534, priority=4,in_port=2,dl_vlan=1 actions=mod_vlan_vid:208,output:1hard_age=65534, priority=4,in_port=2,dl_vlan=6 actions=mod_vlan_vid:176,output:1
priority=0 actions=NORMAL

它负责把内部 vlan id 转换成物理 vlan id 再发到端口1 也就是 SDN 网卡 ens192. 而从物理网卡 ens192 进来的则直接走到 br-int。

3.2.4 br-sec 的流表
dst=42002 actions=fin_timeout(idle_timeout=1),output:1hard_age=0, priority=20,tcp,vlan_tci=0x0002/0x0fff,nw_src=10.70.160.191,nw_dst=10.70.16.187,tp_src=50706,tp_dst=8086 actions=fin_timeout(idle_timeout=1),output:1hard_age=0, priority=20,tcp,vlan_tci=0x0002/0x0fff,nw_src=10.70.160.191,nw_dst=10.70.16.187,tp_src=50716,tp_dst=8086 actions=fin_timeout(idle_timeout=1),output:1hard_age=0, priority=20,tcp,vlan_tci=0x0002/0x0fff,nw_src=10.70.160.187,nw_dst=10.70.16.191,tp_src=8086,tp_dst=50706 actions=fin_timeout(idle_timeout=1),output:2hard_age=0, priority=20,tcp,vlan_tci=0x0002/0x0fff,nw_src=10.70.160.187,nw_dst=10.70.16.191,tp_src=8086,tp_dst=50716 actions=fin_timeout(idle_timeout=1),output:2hard_age=65534, priority=0 actions=drop
 hard_age=65534, priority=0 actions=drop

它的主要职责是作为安全组和防火墙。Neutron ovs agent 负责将安全组规则转换为OVS 流表，对进出虚机的网络包进行过滤。

3.2.5 DRS 支持

VMware DRS 可以动态地将虚机在 ESX 节点之间迁移。因此，为了支持 DRS，在每个 OVSvAPP 虚机之内，流表都是一样的。这样，不管虚机迁移到哪里，其网络都不会收到影响。当然，这也会造成流表过大。这会导致 CPU 占用增加，以及网络延迟加大。

下图比较了不同数量级流表下的 OVSvAPP 虚机的CPU占用情况。

3.3 VLAN 模式下虚机网卡的处理过程

这里面能看到运行在 OVSvAPP 虚机中的 neutron agent 驱动 vSphere 根据 port 的 vlan id 创建 Port Group 过程。在创建好以后，Nova Compute Proxy 再把port 绑定到虚机，同时创建各种bridge（br-int，br-sec，br-ex）的流表。为了实现这逻辑，社区提供了 nova 的 OVSvAppVCDriver 驱动。

3.4 网络性能

3.4.1 官方建议网络配置

  • DVS 的 Uplink 网卡以及 Trunk 口的 MTU 设置为 9000

  • OVSvAPP 虚机里面的 br-int, br-sec 和 br-ex 的 MTU 设置为 8900

  • 虚机的 MTU 设置为 8900

  • ESX 的物理 uplink 网卡的MTU 设置为 9000

3.4.2 OVSvAPP 方案对虚机的吞吐性能影响较小

3.4.3 但是对延迟影响还是蛮严重的，毕竟网络路径大大延长了。

 

3.5 VMware 虚机和KVM 虚机通讯

 

4. 有趣的网络环路

   在我们的环境中，运维不小心将一个 ESXI 上的 OVSvAPP 虚机迁移到了另一个ESXI 上，结果造成网络大面积抖动。经排查，原因是因为两个 OVSvAPP 虚机形成了环路，造成到 10G 网口上的广播包风暴。下图中的紫线表示了这个环路：

 

因为两个 OVSvAPP 虚机连接 vDS_tanent 和 vDS_SDN 的端口都是 trunk模式，因此环路得以形成。为了验证该环路，将第二个 OVSvAPP 虚机连接 vDS_tanent 的网卡禁用后，网络恢复正常，因为环路被破坏了。

最简单的处理方式是，在任何时候都不要把两个 OVSvAPP 虚机放在同一个 ESXI 上，并且不能将vDS_tanent 连接到物理网卡上将它打通，否则不同ESXI上的 OVSvaAPP 会形成环路。

而为什么当两个 OVSvAPP 虚机在两个 ESXI 上没有形成环路呢？这是因为 vDS_tanent 这个分布式交换机其实不是跨 ESXI 相通的，因为它没有绑定物理网卡。

5. 一些局限

OVSvAPP 方案是一个比较不错的方案，包括：

  • 支持neutron，支持VLAN 和 VXLAN
  • 支持安全组
  • 支持 DRS

但是也存在一些局限，包括但不限于：

  • 增加了单点故障风险，比如 OVSvAPP 虚机自身的单点故障，以及 Proxy VM 的单点故障
  • 网络路径太长，造成网络延迟大大增加
  • OVSvAPP 内的流表数目会随着集群规模的增加而成倍增加。一方面这会限制集群规模，也会进一步增加网络延迟以及资源消耗。
  • 同一个ESX宿主机上的同一个网络之间的虚机之间没有安全组，因为没有经过 OVSvAPP 虚机。
  • VDS 功能有限，本质上只是一个 OVS。相比 NSX，只能支持基本的网络功能。

（来源：VIO VDS 和 NSX 方案对比）

 

 

参考链接：

weixin_33955681
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[准备篇5]VMWare搭建Openstack——使用VMnet的方式模拟多网卡的OpenStack环境配置（1）
GIS+=地理信息+云计算+大数据+容器+物联网+...
06-15 2303
前面提起了使用VM WorkStation创建多个网卡来实现OpenStack的部署环境的配置，由于一开始我们使用的网络模式为neutron的flatDHCP方式，简单说就是用户连接的网络与虚拟机生成的IP在一个网段上，（仅限于以前安装的模式），当时控制节点使用一个网卡，网络节点和计算节点同为一台机器，而且设置了两个网卡，第二个网卡设置为混杂模式，当对OpenStack创建外部网络和子网时，设置的
openstack集群搭建
An_ongoing的博客
04-30 2759
openstack集群搭建
ovsvapp:将 VSphere 部署引入 Native Openstack Neutron，包括提供 VLAN、VXLAN、安全组
06-27
ovsvapp 将 VSphere 部署引入 Native Openstack Neutron，包括提供 VLAN、VXLAN、安全组。 Neutron Kilo 发布的批准规格： 针对 VLAN 和安全组的 OVSvAPP 解决方案： ://review.openstack.org/#/c/141264/ VXLAN 覆盖的 OVSvApp 解决方案： ://review.openstack.org/#/c/141262/
OpenStack管理VMware vSphere
最爱雨的博客
08-27 1612
概要 将vSphere 集群加入到OpenStack中作为一个hypervisor或叫做compute driver来使用是一件很痛苦的事，但也是一件有趣的事。可能会出现这样一种使用场景，用户企业以前使用的是vSphere虚拟化架构，现在想使用更友好而简单的OpenStack私有云，但vSphere license还没到期，直接弃用岂不是很可惜，所以希望我们能给他提供一个功能——将已有的vSphere架构纳管到OpenStack中。 这是一件很有难度的事，虽然在R版时，OpenStack官方声称已经能很好地
openstack 实例增加网卡
zuopiezia的博客
07-13 4853
openstack中某个实例新增加一个网卡有两种方式一种是用通过openstack增加这种增加不但会增加一个虚拟网卡，还会自动分配一个ip##设置环境变量source .admin_openrc.sh ##查看网络neutron net-list neutron CLI is deprecated and will be removed in the future. Use openstack ...
openStack五分钟之VLAN
AIfurture的博客
08-10 582
VLAN 1、LAN表示Local Area NetWork,本地局域网，通常使用Hub和Switch来连接LAN中的计算机。或者说，在同一个Hub和Switch的计算机，都在同一个LAN中。 2、一个LAN表示一个广播域，含义是：LAN中的所有成员都会收到任意一个成员发出的广播包。 3、VLAN表示Virtual LAN。 一个带有VLAN功能的switch能够将自己的端口划分成多个LAN。 4...
OpenStack高可用集群(下册) 部署与运维【PDF】
12-20
这是一部从原理、架构、部署、运维4个方面系统、深入讲解如何构建高可用OpenStack集群的著作，在理论和实践两个维度为构建构建高可用OpenStack集群提供了完整的解决方案。本书从OpenStack终端用户的角色出发，以面向...
基于openstack网络模式的vlan分析
10-01
主要为大家介绍了基于openstack网络模式的vlan分析，OpenStack是一个美国国家航空航天局和Rackspace合作研发的，以Apache许可证授权，并且是一个自由软件和开放源代码项目
OpenStack高可用集群（下册）：原理与架构
01-06
本书从OpenStack终端用户的角色出发，以面向生产系统的OpenStack高可用集群建设为主线，对部署OpenStack高可用集群所依赖的各个基础技术栈和OpenStack核心组件进行了详细的原理讲解，并以实战部署的形式演示了...
OpenStack虚机网卡的创建过程
wangchewen的博客
11-01 1146
Neutron 系列文章Neutron Topic Tree： OpenStack最基本和常用的操作就是启动虚机。虚机启动的过程中涉及很多内容，其中非常重要的一个环节就是创建并绑定虚机的虚拟网卡。虚机的创建和管理是Nova的任务，虚机网络的创建和管理是Neutron的任务，而虚机网卡，作为连接虚机和虚机网络的桥梁，其创建和管理则同时涉及了Nova和Neutron。这次介绍一下，OpenStack中虚机的网卡的创建过程。虽然本文的介绍将基于OpenVSwitch，但是你可以发现，很少有特殊于OpenV.
SDN之虚拟逻辑网络
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
08-01 2091
SDN SDN（Software-Defined-Network，SDN）软件定义网络，主要为解决云资源池网络瓶颈（物理网络扩展限制，配置管理复杂），实现方案主要包括以下3种类型： （1）基于专用接口的方案： 该类方案是不改变传统网络的实现机制和工作方式，通过对现有网络设备的操作系统进行升级改造，使之能够支持专用的可编程接口（API）供网络管理系统调用，实现网络设备的统一配置管理和策略下发，改变原先需要逐台设备进行登录配置的手工操作方式；同时这些接口也可用于开发网络应用，实现网络设备的软件编程。其中，最典型
从SDN鼻祖Nicira到VMware NSX 网络虚拟化平台的简单探讨
weixin_30533797的博客
01-19 457
以前的大二层技术，一般是在物理网络底层使用IS-IS路由技术，再在此基础之上，实现数据中心网络的二层扩展，如公有的Trill、SPB技术和Cisco私有的OTV、Fabricpath技术；前沿一些的网络虚拟化技术，使用了VXLAN、NVGRE等协议，突破VLAN和MAC的限制，将数据中心的大二层网络扩展的更大。而使用VMwareNSX，则更进一步——我们可以对网络提供已对计算和存储实现的相同虚拟...
虚拟服务器vsphere的网络配置,VMware vSphere 网络设置最佳实践(转)
weixin_28273593的博客
08-02 3909
管理网络：VMkernel(两个网卡)(冗余设置)虚拟机流量(VM)：虚拟机网络(两个网卡)(冗余设定或者端口绑定增加性能), 注:如果资源有限的话, 管理网络和VM网络可以使用同一个VLanvMotion：VMkernel(两个网卡)VMwarevMotion可以共享管理网络，但最佳实践建议配置一个专用vMotion网络并确保1Gb以上的带宽。和管理网络类似，用两块网卡实现冗余配置。容错：VMk...
基于OVS的VLAN虚拟化简易实践方案
weixin_38168590的博客
03-14 324
基于OVS的VLAN虚拟化简易实践方案 前言 本实验基于ovs的vlan流表匹配，根据端口进行vlan标签插入。手工配置ovs，使其具有vlan虚拟化方案。 实验拓扑 ---- ---- | h1 |---- ---------- ---------- ----| h...
配置 vSphere Standard Switch 或标准端口组的安全策略
allway2的博客
07-05 1369
配置 vSphere Standard Switch 或标准端口组的安全策略 VMware vSphere 7.0 上次更新时间2019年05月31日0 添加到 MyLibrary <提出新问题 对于 vSphere Standard Switch，您可以在虚拟机的客户机操作系统中配置安全策略以拒绝 MAC 地址和混杂模式更改。可以替代从单个端口组上的标准交换机继承的安全策略。 过程 在vSphere Client中，导航到主机。 在配置选项卡上，展开网络，然后选择虚...
VMware vSphere中vApp介绍
血饮渊虹的博客
10-15 1万+
1、什么是vAPP VMware vSphere处理用作于虚拟机的平台之外，还可以将其用作运行应用程序的平台，可以打包应用程序以直接在VMware vSphere上运行，应用程序的打包和管理格式称为vSphere vApp。 vAPP是一种类似于资源池的容器，可以包含一个或多个虚拟机。vAPP还可与虚拟机共享某些功能，可以打开和关闭vApp电源，还可以对其进行克隆。 在vSphere Cli...
初试 Kubernetes 集群使用 Ceph RBD 块存储
热门推荐
哎_小羊的博客
01-08 2万+
Kubernetes PersistentVolumes 持久化存储方案中，提供两种 API 资源方式: PersistentVolume(简称PV) 和 PersistentVolumeClaim(简称PVC)。PV 可理解为集群资源，PVC 可理解为对集群资源的请求，Kubernetes 支持很多种持久化卷存储类型。Ceph 是一个开源的分布式存储系统，支持对象存储、块设备、文件系统，具有可靠性高、管理方便、伸缩性强等特点。本文介绍 Kubernetes 集群使用 Ceph RBD 块存储。
Linux磁盘管理与文件系统（一）：磁盘、MBR与分区和文件系统
最新发布
shyuu的博客
08-08 968
Linux磁盘管理与文件结构（一），理论讲解磁盘结构、MBR与分区和文件系统
OpenStack裸金属集群快速上云实践
"本文主要探讨了OpenStack裸金属集群上云的解决方案，由烽火通信的专家王昊撰写。文章提出了客户在已有物理机集群上云时面临的挑战，包括业务迁移的风险、性能下降以及时间成本。针对这些问题，文章介绍了通过FitOS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值