云计算与openstack （三）整体架构与功能剖析

摘要：本文主要剖析openstack的整体架构部分，然后分析nova各个子系统模块的功能、协作运行机理。

整体架构

1.整体架构剖析

关键需求，决定架构。openstack的设计目标是实现100万台主机和6000万台虚拟主机的管理能力。整个openstack项目可被设计成大规模灵活扩展的云计算操作系统。为了达到以上目标，我们需要具备如下功能。

@@@项目所有的子系统和服务都被集成起来，一起提供IAAS服务

@@@通过标准化公用服务接口API实现集成

@@@子系统和服务之间，通过API相互调用

openstack的核心和扩展的主要项目如下：

对象存储——swift。通过简单的key/value方式实现对象文件的存储，适用于“一次写入，多次读取，无需修改”的场景。对象存储俗称云存储，例如国外的dropbox、box和国内的快盘等。而dropbox是基于亚马逊的S3API接口开发的典型案例。

镜像管理（Image）——glance，提供虚拟磁盘镜像的目录分类管理以及镜像库的存储管理，用于openstack虚拟机

计算管理——nova，提高虚拟主机，包括虚拟机、弹性云硬盘等服务。

网络管理——nova-network和Quantum，实现虚拟机的网络资源管理，包括网络链接、子网IP管理、L3的公网映射和后续的负载均衡

块存储——nova-volume和Cinder，实现对块存储的管理，类似弹性云硬盘，为虚拟机提供云硬盘（块设备）服务。

认证管理——keystone，为openstack所有的系统提供统一的授权和身份验证服务

界面展示——orizon，基于openstack API接口开发的Web实现

本篇的nova包括了除了对象存储之外的所有模块，泛指与云主机EC2相关的计算、存储、网络、镜像以及认证和界面服务。

2.逻辑架构

nova的各个逻辑模块可以互相交互，其中最和新的AMQP通过消息中间件实现各个模块之间的消息通信。各个模块职责如下。

1）nova-api 负责接受和相应终端用户有关虚拟机compute和云硬盘Volume的请求。在Essex版本的nova-api已经模块化之后，可以自行实现执行特殊的nova API。nova-api是整个Nova的入口。它接收用户请求，将指令发送到消息队列AMQP制定的主题Topick，由订阅相应主题Topic的守护进程接收和执行相关消息。

nova-api包含两大部分，WSGI API && RPC API,前者是面向公众服务的接口，报货数据封装格式转换和数据校验；后者是标准化服务的内部实现，保罗数据库操作消息传递等，比如compute-api、network-api、volume-api，同城API Server，在运行架构章节，将描述此类接口。

2）nova-compute是主要的执行守护进程，职责是基于各种虚拟化技术Hypervisior，实现虚拟机的创建和终止。nova-compute有两个工作，接收消息队列中的执行指令，并执行相关指令，如部署kvm虚拟机；维护数据库相关模块的状态数据。

nova-compute整合了计算资源CPU/内存、存储、网络3类资源部署管理虚拟机，实现计算能力的交互。包括如下的内容

@@@运行/终止/重启虚拟机

@@@挂载/卸载云硬盘

@@@控制台输出

3）nova-volume/Cinder的职责是创建、挂载和卸载持久化的虚拟机。nova-volume可以用ihe分布式文件系统CEPH的Rados Block Device来实现

4）nova-network的职责是实现网络资源的管理，包括IP、VLAN、网桥接口、防火墙等的管理。运行机制也和nova-compute类似，从AMQP接收信息，并进行处理

5）nova-schedule的职责是调度虚拟机在哪个宿主机上部署。该模块是非常值得挖掘和深入发展的，调度算法可以根据业务目标进行扩展。

总结：AMQP消息中间件蔡永乐RabbitMQ，也可以用任何AMQP协议的消息中间件，如Apache的 Apid.

3.运行架构

.API接口操作DB实现资源数据模型的维护，通过消息中间件AMQP，通过相应的守护进程如nova-compute、nova-networ/quantum等实现服务接口。与守护进程共享DB数据库，但收据程序侧重维护状态信息，如虚拟机状态，网络资源状态等。守护进程之间不能互相调用，需要通过API调用，如nova-compute为虚拟机分配网络，需要调用nova-api，而不是直接调用nova-network。

4.开发架构

源代码可以到官网www.openstackorg/launchpad.net下载；devstack安装的可以到/opt/stack找到源码；手动安装的，在/usr/lib/python2.7/dist-package/nova。

具体的开发架构如下：

./flagspy 配置信息，提高对应nova.conf

./sevice.py 服务守护进程主程序

./api 对外通过标准化的RESTful接口提供服务

./api/openstack 提供openstack nva rest api 接口服务

./api/ec2 提供兼容亚马逊标准化服务接口

./conpute 计算资源池

./compute/api.py

./compute/manager.py

./network

./volume

./scheduler

./db 数据模型存储，采用sqlalchemy实现ORM

5.物理架构

我们以开源平台项目abiCloud为例，谈谈虚拟机平台管理的几大关键药书

网络上划分为管理网、数据网、存储网络、公网。

管理网：宿主物理机、虚拟机平台控制器、镜像管理、存储管理、DHCP管理。

数据网：虚拟机、虚拟交互机、VLAN和IP池管理，DHCP服务器也要访问数据网从而动态分配地址。数据网可以包含多个不同的VLAN。

存储网（可选的，可以与管理网融合）：实际环境下，存储网路和管理网络是不同的，宿主物理级的存储更多采用磁盘阵列，通过交换机连接到计算节点。宿主物理机有三个以上的网卡：连接存储网（HBA卡）/管理网、数据网。

公网：

管理网内控制节点安装相关API服务、调度scheduler、存储volume、镜像glance；数据库和消息中间件安装在独立服务器中；监控和界面部署安装到另外的服务器从而实现负载平衡。根据安装组件的不同,服务器节点可以划分成以下几种

计算节点：nova-compute

存储节点：nova-volume或者cinder-volume

网络节点：nova-network/quantum server

控制节点：nova-api、scheduler

功能剖析

1.消息队列协议AMQP

高级消息队列协议AMQP是一个异步消息传递所使用的应用层协议规范。消息队列在openstack中是计算节点nova-compute、存储节点nova-volume、网络节点nova-network以及API和各个功能模块之间相互通信写作的重要媒介。AMQP可以采用rabbitMQ、Apid等消息中间件来实现。Nova组件通过RPC实现相互通信。采用典型的发布/订阅模式。

2.调度器——nova-scheduler

nova-scheduler是Nova中最简单的一个模块：从AMQP队列中接受一个RPC消息，然后根据特定的策略将这个消息转发给其认为最合适的compute主机。考录到部署环境和业务的差异性，要选择一个最为合适的消息调度策略非常复杂。Nova调度其支持各种可能的因素进行决策，比如Compute负载、内存使用率、可用区域的物理距离等。为了应对各种稀奇古怪、甚至不可预见的调度策略，Nova调度器是以一种插件的架构来实现的。

2.1过滤

每个计算节点都会在Nova数据库的compute_nodes表中保存你一个对应的表项，记录了计算节点所有可用的能力信息——内存容量、虚拟CPU个数、硬盘容量等。在进行过滤之前，需要先获取所有可用的计算节点信息，步骤如下：
（1）从compute_nodes表中获取计算节点的能力信息，并加入计算节点集合。
（2）从数据库获取已经创建的云主机的实例信息。
（3）从云主机所在的计算节点中减去云主机实例所占用的资源，从而得到剩余资源。

2.2权衡

成本表示宿主机与请求的符合程度，是主机特征与宿主特征对比以后得出的结果。当主机特征和请求特征契合的时候，成本较低。调度器衡量的过程如下：
（1）创建一个何曾本计算函数结果的矩阵，每个主机对应于一行，每个成本计算函数对应于一列
（2）根据权重银子和成本计算函数来计算矩阵中每个单元的值
（3）每行各列相加，得到主机权重

（4）取权重最小的作为最优选择。

3.计算资源管理

nova集成了多种虚拟化技术，其中nova-compute需要关注的是通过Hypervisor分配cpu/内存/磁盘/网络等给虚拟机，其中cpu是compute直接分配，磁盘和网络通过volume、network提供。compute如何实现这些资源的交付呢？

libvort实现kvm、qemu等hypervisor的集成，计算资源服务通过适配的方式提供对不同虚拟化技术的集成，nova-api通过调度其发送计算资源管理指令到计算节点nova-compute，计算节点nova-compute接受指令之后，获取信息调用底层虚拟化适配libvirt中的不同驱动driver，与底层虚拟化软件进行交互。

4.存储资源管理

4.1常见的存储概念

直连式存储（DAS），我们常见的物理主机包含硬盘，通过足迹的服务总线链接来提供存储服务。可以解决单台服务器的存储空间扩展，高性能传输需求，以快设备的方式提供存储服务。


网络接入存储（NAS），独立于主机、弯度为网络数据存储尔开发的一种文件服务器。NAS服务器集中连接了所有的网络罗数据存储设备，扩展性好，同时这种网络存储方式是NAS服务器独立承担的。所以，对原来的网络服务器性能基本没有影响。NAS&&DAS最大的别却是NAS蔡永乐文件系统方式，尔DAS采用了快设备方式。NAS存储一般采用NFS协议的方式，实现不同主机之间的文件共享。


存储区域网络san，不是将所有的存储设备集中安装在一个专门的nas服务器中，而是将存储设备通过交换机连接起来，形成存储网络。因为网络传输协议的不同，san种类也有所不同。


大规模的生产环境一般都采用san，nova蔡永乐iscsi协议的存储方式。nova-volume存储适配有多种方式，有基于iscsi的IP-SAN方式，有规划中的集群文件系统Ceph方式。在Folsom版本后渐引入了Cinder项目，用于替换nova-volume模块，Cinder具备更强大的管理能力。

4.2Cinder功能

Cinder的功能是实现存储服务，根据实际需要快速为虚拟机提供设备创建、挂载、回收以及快照备份控制等。Cinder包括API、调度Scheduler和存储适配cinder-volume 3个服务，其中cinder-volume可以部署到多个节点上。cinder-scheduler和nova-scheduler类似，根据服务寻找合适的服务器cinder-volume，发送消息到cinder-volume节点，由cinder-volume提供弹性云存储服务。
 因为实际环境中，存储服务厂商有很多，采用了各种各样的存储访问协议，如ISCSI、NFS等。这就需要进行适配，根据API服务提供的接口来实现块设备的提供。所有的存储设备中使用的连接协议基本都是iSCSI和NFS两种，从计算节点使用的角度来说，他们很相似，我们接下来剖析这两种协议。

4.3iSCSI适配

iscsi又称为IP——SAN，是一种基于internet和scsi-3协议之下的存储技术，通过IP协议将存储设备连接到一起，实现数据传递，它是SAN市场快速发展的因素之一。iSCSI后端存储架构有三种——控制器架构、pc架构、pc+toe架构


openstack如何基于机架方式服务器方式的软件iSCSI服务？
1）存储节点部署上nova-volume/cinder-volume之后，作为存储target提供块设备服务。
2）计算节点nova-compute作为存储客户端Initiator，查找存储节点的存储单元LUN，并挂载到本机，识别为块设备，并分配设备给虚拟机。

4.4 NFS适配

与上面不同，NFS是文件系统，可以理解为文件夹（目录）,它最大的特性是文件共享。

5.网络资源管理

5.1 IP资源管理


5.2 DHCP自动分配IP


5.3 网络连接管理


5.4 虚拟交换机管理


5.5 nat网络映射


5.6 网络安全管理


5.7 Quantum 项目介绍