学会OpenStack之核心Nova服务一篇就够了！！！

一、Nova概述

Nova是负责提供计算资源的模块，也是OpenStack中的核心模块。OpenStack使用计算服务来托管和管理云计算系统
主要功能是负责虚拟机实例的生命周期管理、网络管理、存储卷管理、用户管理以及其他的相关云平台管理功能。

Nova 在整个 OpenStack 架构中的位置如下图：
在上图中可以看到，OpenStack 很多组件都为 Nova 提供支持：
Glance 为 VM 提供镜像；
Cinder 和 Swift 分别为 VM 提供块存储和对象存储；
Neutron 为 VM 提供网络连接

二、系统架构

• DB:用于数据存储的sql数据库。
• API:用于接收HTTP请求、转换命令、通过消息队列或HTTP与其他组件通信的nova组件。
• Scheduler:用于决定哪台计算节点承载计算实例的nova调度器。
• Network:管理IP转发、网桥或虚拟局域网的nova网络组件。
• Compute:管理虚拟机管理器与虚拟机之间通信的nova计算组件。
• Conductor:处理需要协调(构建虚拟机或调整虚拟机大小)的请求，或者处理对象转换。

内部组件介绍

nova-api

AsPI是客户访问nova的http接口，它由nova-api服务实现，nova-api服务接受和响应来自最终用户计算api的请求。作为openstack对外服务的最主要接口，nova-api提供了一个集中的可以查询所有api的端点。

所有对nova的请求都首先由nova-api处理。API提供REST 标准调用服务，便于与第三方系统集成。

最终用户不会直接该送RESTful API请求而是通过openstack命令行、dashbord和其他需要跟nova的组件使用这些API。

NOva-api对接受到的HTTP API请求做以下处理：
（1）检查客户端传入的参数是否合法有效
（2）调用nova其他服务来处理客户端HTTP请求
（3）格式化nova其他子服务返回结果并返回给客户端

nova-api是外部访问并使用nova提供的各种服务的唯一途径，也是客户端和nova之间的中间层。

Scheduler

Scheduler可译为调度器，由nova-scheduler服务实现，主要解决的是如何选择在哪个计算节点上启动实例的问题。它可以应用多种规则，如果考虑内存使用率、cpu负载率、cpu架构（Intel/amd）等多种因素，根据一定的算法，确定虚拟机实例能够运行在哪一台计算节点。NOva-scherduler服务会从队列中接受虚拟机实例的请求，通过读取数据库的内容，从可用资源池中选择最合适的计算节点来创建新的虚拟机实例

Nova-compute

Nova-compute处理管理实例生命周期。他们通过Message Queue接收实例生命周期管理的请求，并承担操作工作。在一个典型生产环境的云部署中有一些compute workers。一个实例部署在哪个可用的compute worker上取决于调度算法。

Rabbitmq

OpenStack 节点之间通过消息队列使用AMQP（Advanced Message Queue Protocol）完成通信。Nova 通过异步调用请求响应，使用回调函数在收到响应时触发。因为使用了异步通信，不会有用户长时间卡在等待状态。这是有效的，因为许多API调用预期的行为都非常耗时，例如加载一个实例，或者上传一个镜像。

Nova-conductor

nova-conductor是nova-compute与数据库的中间件，nova-compute对数据库的CRUD操作都借由nova-conductor完成，nova-conductor通过rpc对外提供API服务。nova-conductor默认采用多进程运行，在不配置[conductor]worker的情况下，进程数会与服务器的逻辑CPU数一致。

三、架构

Nova 逻辑架构如下图所示（红色方框内为 Nova 组件，方框外为 Nova 和 OpenStack 其他服务之间的调用关系）

• nova组件内部沟通

  client通过http去认证，认证成功之后去访问OpenStack进行API调度，进行调度网络、卷、计算等等，然后通过消息队列进行去往各个组件，然后各个组件进行工作，Seceduler开始分配网络、分配卷，在某一台主机分配虚拟机，同时还要进行持续的监控，判断主机是否正常工作，并且要统计物理机消耗的资源情况，方便下一次Scheduler平台的调度
  

• nova与其他组件沟通

  这里的nova会分为控制节点(Cloud Controller)与实例节点(Compute)控制节点就是负责分配，分配到实例节点去运行，控制节点在同一时间内只有一个，而实例节点则在同一时间内有多个，通过客户端或web去创建一个虚拟机，首先要访问keystone的endpoint，然后可以访问到nova-api，然后nova通知消息队列，然后scheduler开始进行调度，调度成功之后compute节点接收到调度数据开始通过hypervisor(虚拟机监视器)来创建虚拟机，glance与swift组件是在创建虚拟机的同时提供镜像以及存储服务，组件之间的沟通方式与创建虚拟机的方式一样。
  

虚拟机的启动流程
首先执行创建虚拟机动作，会被nova-api转移到scheduler调度，scheduler会分两种情况，如果指定在哪台机器创建虚拟机，那么优先级是最大的，直接发送到对应的compute节点创建即可。如果没有指定虚拟机在哪台机器创建，首先要进行权重的计算(为了调度到最合适的计算节点，这个节点相对其他节点资源利用率较低，更平稳)，然后根据权重结果来调度一台最合适的宿主机进行虚拟机的创建。

权重的计算：可以通过libvirt(虚拟机监视层)收集宿主机的资源，宿主机的资源会定时更新到数据库中，scheduler通过数据库中获取到每台宿主机当前的资源。

如果在轮询时间没有到的时候去申请虚拟机，假如此时经过权重计算得出的宿主机不为最合适的宿主机时怎么办？

解决方案

无论轮询时间是多少，如果宿主机被写入新的内容，当前宿主机会马上同步此时的状态到数据库。这样就解决了上述的问题。

四、组件介绍

4.1、API–通信接口

实现了RESTful API功能，是外部访问Nova的唯一途径，同时也是客户端与Nova之间的中间层，可以与第三方系统集成
接收外部的请求并通过Message Queue将请求发送给其他的服务组件，同时也兼容EC2 API，所以也可以用EC2的管理工具对nova进行日常管理。
作为核心组件，可集中查询所有组件的API端点
API可以处理与虚拟机生命周期相关的操作
Nova-api对接收到的HTTP API做以下处理
鉴权，即检查参数是否合法有效
作为计算节点的核心，调用其他项目去服务通过HTTP发送的请求
清空Nova子服务中的相关运算，只返回结果给客户端

4.2、Scheduler–调度器

Scheduler可译为调度器，由nova-scheduler服务实现，主要解决的是如何选择在哪个计算节点上启云实例的问题。它可以应用多种规则，如果考虑内存信用率、cpu负载率、cpu构架(intel/amd)等多种E素，根据一定的算法，确定虚拟机实例能够运行在一台计算服务器上。Nova-scheduler服务会从队列中接收一个虚拟机实例的请求，通过读取数据库的P容，从可用资源池中选择最合适的计算节点来创建亲的虚拟机实例。
创建虚拟机实例时，用户会提出资源需求，如cpu.内存、磁盘各需要多少。Openstack将这些需求定义在实例类型中，用户只需指定使用哪个实例类型可以了决策虚拟机创建在哪个主机（计算节点）上。决策一个虚拟机应该调度到某物理节点，需要经过两个子组件：

4.2.1、过滤器（filter）

过滤出可以创建虚拟机的主机。
scheduler_available_filters选项用于配置可用过滤器，默认是所有nova自带的过滤器都可以用于过滤作用

Scheduler_available_filters = nova.scheduler.filtersall filters

另外还有一一个选项schedyler_default_filters用于指定nova-scheduler服务真正使用的过滤器，默认值如下

Scheduler_ delault filters ■RetryFilters, Avalla biltyZoneFilter, RamFilter,
ComputeFilter, ComputeCapabilitiesFilter, ImagePropertiesFilter,
ServerGroupAntiffinityFilter, ServerGroupAffinityFilter

过滤器将从以下几个方面进行过滤

• RetryFilter(再审过滤器)

主要作用是过滤掉之前已经调度过的节点。如A. B、C都通过了过滤，A权重最大被选中执行操作，由于某种原因,操作在A上失败了。Nova-litr将重新执行过滤操作，那么此时A就被会RetryFilter直接排除，以免再次失败

• AvailabilityZoneFilter (可用区域过滤器)

为提高容灾性并提供隔离服务，可以将计算节点划分到不同的可用区域中Openstack默认有一一个命名为nova的可用区域， 所有的计算节点初始是放在nova区域中的。用户可以根据需要创建自己的-一个可用区域。创建实例时，需要指定将实例部署在哪个可用区域中。Nova scheduler执行过滤操作时，会使用AvailabilityZoneFilter不属于指定可用区域计算节 点过滤掉

• RamFilter (内存过滤器)

根据可用内存来调度虚拟机创建，将不能满足实例类型内存需求的计算节点过滤掉，但为了提高系统资源利用率，Openstack在计算节 点的可用内存时允许超过实际内存大小，超过的程度是通过nova .con配置文件中ram. allocation. ratio参数来控制的，默认值是1.5。

vi /etc/nova/nova.conf
ram_allocation_ratio=1.5

• DiskFilter (硬盘调度器)

根据磁盘空间来调度虚拟机创建，将不能满足类型磁盘需求的计算节点过滤掉。磁盘同样允许超量，超量值可修改nova .con中disk. alocation. _ratio参数控制，默认值是1.0

vi /etc/nova/nova.conf
disk_allocation_ratio=1.0

• CoreFilter(核心过滤器)

根据可用CPU核心米响度应拟忆创廷，将个能满正头例夫型VCPU需冰的计算节点过宽掉。vCPU也允许超量，超量值是通过修改nova. conf中cpu_ llocation. ratio参数控制，默认值是16.

 vi /etc/nova/nova. conf 
cpu_allocation_ratio=16.0

• ComputeFilter(计算过滤器)

保证只有nova-compute服务正常工作的计算节点才能被nova-scheduler调度，它是必选的过滤器。

• ComputeCapablilitiesFilter (计算能力过滤器)

根据计算节点的特性来过滤，如x86_ 64和ARM架构的不同节点，将实例分别进行过滤

• ImagePropertiesFilter镜像属性过滤器)

根据所选镜像的属性来筛选匹配的计算节点。通过元数据来指定其属性。如希望镜像只运行在KVM的Hyperisor上,可以通过Hypervisor Type属性来指定。

• ServerGroupAntiAffinityFilter( 服务器组反亲和性过滤器)

要求尽量将实例分散部署到不同的节点上。即考虑到实例之间的服务会相互冲突，将实例泡在不同的服务器上

• ServerGroupffinityilter(服务器组亲和性过滤器)

与反亲和性过滤器相反，此过滤器尽量将实例部署到同一个计算节点上

用户创建虚拟机，nova-api接收到请求，像keystone验证，转移到scheduler调度，有两种情况，如果指定，那台优先级最大，直接发送到对应的compute节点创建，若没指定，进行过滤和权重计算，。libvirt(虚拟机监视层)收集宿主机的资源，更新到数据库中，scheduler通过数据库中获取到每台宿主机当前的资源，选择最合适的创建虚拟机

• 计算节点的资源会通过计划任务的方式会分两次实时更新到数据库。
• 创建虚拟机的时候， Scheduler 会根据 DB 库中收集的计算节点的资源。
• 在 Scheduler 创建计算节点后，会返回一个值给 DB 库，从而在下一次创建虚拟机的时候，不会因为 DB
  库中更新不及时的原因造成创建虚拟机失败

4.2.2、计算权值（weight）

根据权重大小进行分配，默认根据资源可用空间进行权重排序。

注意:
所有权重位于nova/scheduler/weights目录下。目前默认实现是RAMweighter,根据计算节点空闲的内存量计算权重值，空闲越多,权重越大,实例将被部署到当前空闲内存最多的计算节点上

OpenStack源码位置

/usr/lib/python2.7/site-packages

权重源码位置

/usr/lib/python2.7site-packages/nova/scheduler/weights

4.3、Compute–计算器

Nova-compute在计算节点上运行，负责管理节点上的实例。通常一个主机运行一个Nova-compute服务,一个实例部署在哪个可用的主机上取决于调度算法。OpenStack对实例的操作，最后都是提交给Nova-compute来完成。
Nova-compute可分为两类，一类是定向openstack报告计算节点的状态，另一类是实现实例生命周期的管理。

4.3.1、支持方式

通过Driver (驱动)架构支持多种Hypervisor虚拟机管理器

• 面对多种Hypervisor, nova-compute为这些Hypervisor定义统一的接口
• Hypervisor只需要实现这些接口， 就可以Driver的形式即插即用到OpenStack系统中

4.3.2、功能

定期向OpenStack报告计算节点的状态

• 每隔一-段时间，nova-compute就会报告当前计算节点的资源使用情况和nova-compu服务状态。
• nova-compute是通过Hypervisor的驱动获取这些信息的。

实现虚拟机实例生命周期的管理

• OpenStack对虚拟机实例最主要的操作都是通过nova-compute实现的。
  创建、关闭、重启、挂起、恢复、中止、调整大小、迁移、快照
• 以实例创建为例来说明nova- compute的实现过程。
  为实例准备资源。
  创建实例的镜像文件。
  创建实例的XML定义文件。
  创建虚拟网络并启动虚拟机。

4.4、Conductor–管理器

• 由nova-conductor模块实现，旨在为数据库的访问提供一层安全保障。Nova-conductor作为nova-compute服务与数据库之间交互的中介，避免了直接访问由nova-compute服务创建对接数据库
• Nova-compute访问数据库的全部操作都改到nova-conductor中，nova-conductor作为对数据库操作的一个代理，而且nova-conductor是部署在控制节点上的。
• Nova-conductor有助于提高数据库的访问性能,nova-compute可以创建多个线程使用远程过程调用(RPC)访问nova-conductor.
• 在一个大规模的openstack部署环境里，管理员可以通过增加nova-conductor的数量来应付日益增长的计算节点对数据库的访问量。

4.5、PlacementAPI–安置接口

• 以从前对资源的管理全部由计算节点承担，在统计资源使用情况时，只是简单的将所有计算节点的资源情况累加起来，但是系统中还存在外部资源，这些资源由外部系充提供。如ceph、
  nfs等提供的存储资源等。面对多种多样的资源提供者，管理员需要统一的、简单的管理接口来统计系统中资源使用情况，这个接口就是PlacementAPl。
• PlacementAPl由nova-placement-api服务来实现， 旨在追踪记录资源提供者的目录和资源使用情况。
• 被消费的资源类型是按类进行跟踪的。如计算节点类、 共享存储池类、IP地址类等。

五、Nova 的 Cell 架构

5.1、产生原因

• 当openstack
  nova集群的规模变大时，数据库和消息队列服务就会出现瓶颈问题。Nova为提高水平扩展及分布式、大规模的部署能力，同时又不增加数据库和消息中间件的复杂度，引入了Cell概念。
• Cell可译为单元。为支持更大规模的部署,openstack将大的nova集群分成小的单元,每个单元都有自己的消息队列和数据库，可以解决规模增大时引起的瓶颈问题。在Cell中，Keystone.Neutron.Cinder.Glance等资源是共享的。

5.2、架构图

从架构图上，可以看到：
api 和 cell 有了明显的边界。 api 层面只需要数据库，不需要 Message Queue。
nova-api 现在依赖 nova_api 和 nova_cell0 两个数据库。
nova-scheduler 服务只需要在 api 层面上安装，cell 不需要参数调度。这样实现了一次调度就可以确定到具体在哪个 cell 的哪台机器上启动
这里其实依赖 placement 服务, 以后的文章会提到
cell 里面只需要安装 nova-compute 和 nova-conductor 服务，和其依赖的 DB 和 MQ
所有的 cell 变成一个扁平架构。比之前的多层父子架构要简化很多。
api上面服务会直接连接 cell 的 MQ 和 DB, 所以不需要类似 nova-cell 这样子的额外服务存在。性能上也会有及大的提升
新建机器时:

nova-api 接到用户的请求信息，先转发到 nova-scheduler 进行调度， nova-scheduler 通过 placement service, 直接确定分配到哪台机器上
nova-api 把 instance 的信息存入instance_mappings 表
nova-api 把机器信息存到目标 cell 的 database
nova-api 给 cell 的 message queue 的相关队列发消息，启动机器

六、Nova项目搭建

6.1、创建数据库实例和数据库用户

[root@ct ~]# mysql -uroot -p
MariaDB [(none)]> CREATE DATABASE placement;
MariaDB [(none)]> GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'localhost' IDENTIFIED BY 'PLACEMENT_DBPASS';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON placement.* TO 'placement'@'%' IDENTIFIED BY 'PLACEMENT_DBPASS';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> exit；

6.2、创建Placement服务用户和API的endpoint

• 创建placement用户

[root@ct ~]# openstack user create --domain default --password PLACEMENT_PASS placement

• 给与placement用户对service项目拥有admin权限

[root@ct ~]# openstack role add --project service --user 

• 创建一个placement服务，服务类型为placement

[root@ct ~]# openstack service create --name placement --description "Placement API" placement

• 注册API端口到placement的service中；注册的信息会写入到mysql中

[root@ct ~]# openstack endpoint create --region RegionOne placement public http://ct:8778
[root@ct ~]# openstack endpoint create --region RegionOne placement internal http://ct:8778
[root@ct~]# openstack endpoint create --region RegionOne placement admin http://ct:8778

• 安装placement服务

[root@controller ~]# yum -y install openstack-placement-api

• 修改placement配置文件

openstack-config --set /etc/placement/placement.conf placement_database connection mysql+pymysql://placement:PLACEMENT_DBPASS@ct/placement
openstack-config --set /etc/placement/placement.conf api auth_strategy keystone
openstack-config --set /etc/placement/placement.conf keystone_authtoken auth_url  http://ct:5000/v3
openstack-config --set /etc/placement/placement.conf keystone_authtoken memcached_servers ct:11211
openstack-config --set /etc/placement/placement.conf keystone_authtoken auth_type password
openstack-config --set /etc/placement/placement.conf keystone_authtoken project_domain_name Default
openstack-config --set /etc/placement/placement.conf keystone_authtoken user_domain_name Default
openstack-config --set /etc/placement/placement.conf keystone_authtoken project_name service
openstack-config --set /etc/placement/placement.conf keystone_authtoken username placement
openstack-config --set /etc/placement/placement.conf keystone_authtoken password PLACEMENT_PASS

查看placement配置文件
[root@ct placement]# cat placement.conf
[DEFAULT]
[api]
auth_strategy = keystone
[cors]
[keystone_authtoken]
auth_url = http://ct:5000/v3				#指定keystone地址
memcached_servers = ct:11211			#session信息是缓存放到了memcached中
auth_type = password
project_domain_name = Default
user_domain_name = Default
project_name = service
username = placement
password = PLACEMENT_PASS
[oslo_policy]
[placement]
[placement_database]
connection = mysql+pymysql://placement:PLACEMENT_DBPASS@ct/placement
[profiler]

• 导入数据库

su -s /bin/sh -c "placement-manage db sync" placement

• 修改Apache配置文件： 00-placemenct-api.conf（安装完placement服务后会自动创建该文件-虚拟主机配置 ）
  #虚拟主机配置文件
  [root@ct conf.d]# cat 00-placement-api.conf #安装完placement会自动创建此文件

Listen 8778

<VirtualHost *:8778