最近2个星期在尝试用OpenStack搭建私有云,提供方便的虚拟机部署和管理。写一篇博客记录一下相关资料。
1. OpenStack简介
OpenStack是一个开源软件,它提供了一个部署云的平台。为虚拟计算或存储服务的公有/私有云,提供可扩展的、灵活的云计算。
OpenStack包含了一组由社区维护的开源项目,主要项目有Compute(Nova), Object Storage(Swift),Image Service(Glance)。
Nova提供虚拟计算服务,Swift提供存储服务,Glance提供虚拟机镜像的注册、分发服务。
他们之间的关系可以用这个简图来表示:
2. OpenStack能够做什么
OpenStack能帮我们建立自己的IaaS,提供类似Amazon Web Service的服务给用户:
普通用户可以通过它注册云服务,查看运行和计费情况
开发和运维人员可以创建和存储他们应用的自定义镜像,并通过这些镜像启动、监控和终止实例
平台的管理人员能够配置和操作网络,存储等基础架构
3. OpenStack Compute(Nova)的软件架构
下图是Nova的软件架构,每个nova-xxx组件是由python代码编写的守护进程,每个进程之间通过队列(Queue)和数据库(nova database)来交换信息,执行各种请求。而用户通过nova-api暴露的web service来同其他组件进行进行交互。Glance是相对独立的基础架构,nova通过glance-api来和它交互。
4. Nova各个组件的作用
nova-api是Nova的中心。它为所有外部调用提供服务,除了提供OpenStack本身的API规范外,他还提供了兼容EC2的部分API,所以也可以用EC2的管理工具对nova进行日常管理。
nova-compute负责对虚拟机实例进行创建、终止、迁移、Resize的操作。工作原理可以简单描述为:从队列中接收请求,通过相关的系统命令执行他们,再更新数据库的状态。
nova-volume管理映射到虚拟机实例的卷的创建、附加和取消。
nova-network从队列中接收网络任务,然后执行任务控制虚拟机的网络,比如创建桥接网络或改变iptables的规则。
nova-scheduler 提供调度,来决定在哪台资源空闲的机器上启动新的虚拟机实例
Queue为守护进程传递消息。只要支持AMQP协议的任何Message Queue Sever都可以,当前官方推荐用RabbitMQ。
SQL database存储云基础架构中的各种数据。包括了虚拟机实例数据,网络数据等。
user dashboard是一个可选的项目。它提供了一个web界面来给普通用户或者管理者来管理、配置他们的计算资源。
5. Nova的硬件架构
Nova采用无共享、基于消息的架构,我们能安装每个nova-xxx组件在单独的服务器上,这样可以根据不同目的进行不同的配置安装
单结点:一台服务器运行所有的nova-xxx组件,同时也驱动虚拟实例。这种配置只为尝试Nova,或者为了开发目的进行安装。
1控制节点+N个计算节点:一个控制结点运行除nova-compute外的所有nova-services,然后其他compute结点运行nova-compute。所有的计算节点需要和控制节点进行镜像交互,网络交互,控制节点是整个架构的瓶颈,这种配置主要用于概念证明或实验环境。
多节点:增加节点单独运行nova-volume,同时在计算节点上运行nova-network,并且根据不同的网络硬件架构选择DHCP或者VLan模式,让控制网络和公共网络的流量分离。
6. OpenStack的安装
OpenStack的安装是比较麻烦,可以参考官方文档进行: http://docs.openstack.org/diablo/openstack-compute/admin/content/ , 文档有一些地方没有更新到最新版本,会遇到一些小问题,推荐一个第3方脚本进行安装: http://devstack.org/ 它适合用来搭建实验环境。可以通过阅读这个脚本,同时配合官方文档来理解整个软件架构。
同时通过Ubuntu源安装的nova在实际使用过程中遇到一些小问题,都需要打补丁来解决,建议了解整个配置以后,可以改成从git上获取stable分支的代码进行安装,这样日后维护升级也比较方便。
如果你需要从无到有搭建整个数据中心,推荐Crowbar实现自动化远程安装: https://github.com/dellcloudedge/crowbar 从裸机到可用系统只用在web界面点击几下即可完成,还自带各种SA常用功能(比如nagios监控等),不过这个东西也比较复杂,推荐有兴趣的SA们试用。
7. 遇到的问题
官方文档和devstack脚本基本上都是为了搭建实验环境写的,没有为生产环境做最佳实践的指导,在安装过程中遇到很多问题,比如:
A. 多节点部署的时候要用multi host参数
B. 使用VLAN+硬件网关的时候做网络配置时候,需要指定dnsmasq_config_file来强制覆盖dnsmasq的网关配置
C. 用KVM制作windows镜像的时候需要安装virtio驱动
D. 通过Ubuntu源安装的Nova,在Ami格式的镜像启动的instance无法做snapshot,需要打 补丁
E. 通过Ubuntu源安装的Nova,在启用keystone进行身份认证的情况下,无法提供EC2的兼容API,也需要打补丁
8. Openstack 的各种资料
A. 官网和wiki http://docs.openstack.org/
B. Devstack的脚本说明,对于了解如何配置各个组件非常有帮助 http://devstack.org/stack.sh.html
C. Rackspace的参考架构,有很多很有用的信息,包括硬件,网络,软件配置等等,强烈推荐: http://www.referencearchitecture.org
D. 看你准备基于什么技术进行虚拟化,KVM或者Xen的文档也是很有用的。
9. 展示
用dashboard管理虚拟机
通过noVNC在web上连接到虚拟机
1. OpenStack简介
OpenStack是一个开源软件,它提供了一个部署云的平台。为虚拟计算或存储服务的公有/私有云,提供可扩展的、灵活的云计算。
OpenStack包含了一组由社区维护的开源项目,主要项目有Compute(Nova), Object Storage(Swift),Image Service(Glance)。
Nova提供虚拟计算服务,Swift提供存储服务,Glance提供虚拟机镜像的注册、分发服务。
他们之间的关系可以用这个简图来表示:
![](http://dl.iteye.com/upload/attachment/589851/4a9a6f3d-8361-3102-b6d3-aa05936447ed.jpg)
2. OpenStack能够做什么
OpenStack能帮我们建立自己的IaaS,提供类似Amazon Web Service的服务给用户:
普通用户可以通过它注册云服务,查看运行和计费情况
开发和运维人员可以创建和存储他们应用的自定义镜像,并通过这些镜像启动、监控和终止实例
平台的管理人员能够配置和操作网络,存储等基础架构
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/589859/2a59d1a6-451d-359e-a1e5-60f03e8736a4.png)
3. OpenStack Compute(Nova)的软件架构
下图是Nova的软件架构,每个nova-xxx组件是由python代码编写的守护进程,每个进程之间通过队列(Queue)和数据库(nova database)来交换信息,执行各种请求。而用户通过nova-api暴露的web service来同其他组件进行进行交互。Glance是相对独立的基础架构,nova通过glance-api来和它交互。
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/589868/fc133453-cd10-3adb-b869-5fa3d0bb64da.png)
4. Nova各个组件的作用
nova-api是Nova的中心。它为所有外部调用提供服务,除了提供OpenStack本身的API规范外,他还提供了兼容EC2的部分API,所以也可以用EC2的管理工具对nova进行日常管理。
nova-compute负责对虚拟机实例进行创建、终止、迁移、Resize的操作。工作原理可以简单描述为:从队列中接收请求,通过相关的系统命令执行他们,再更新数据库的状态。
nova-volume管理映射到虚拟机实例的卷的创建、附加和取消。
nova-network从队列中接收网络任务,然后执行任务控制虚拟机的网络,比如创建桥接网络或改变iptables的规则。
nova-scheduler 提供调度,来决定在哪台资源空闲的机器上启动新的虚拟机实例
Queue为守护进程传递消息。只要支持AMQP协议的任何Message Queue Sever都可以,当前官方推荐用RabbitMQ。
SQL database存储云基础架构中的各种数据。包括了虚拟机实例数据,网络数据等。
user dashboard是一个可选的项目。它提供了一个web界面来给普通用户或者管理者来管理、配置他们的计算资源。
5. Nova的硬件架构
Nova采用无共享、基于消息的架构,我们能安装每个nova-xxx组件在单独的服务器上,这样可以根据不同目的进行不同的配置安装
单结点:一台服务器运行所有的nova-xxx组件,同时也驱动虚拟实例。这种配置只为尝试Nova,或者为了开发目的进行安装。
![](http://dl.iteye.com/upload/attachment/589876/299736b6-8b67-3386-9106-6f350ade40b3.png)
1控制节点+N个计算节点:一个控制结点运行除nova-compute外的所有nova-services,然后其他compute结点运行nova-compute。所有的计算节点需要和控制节点进行镜像交互,网络交互,控制节点是整个架构的瓶颈,这种配置主要用于概念证明或实验环境。
![](http://dl.iteye.com/upload/attachment/589884/2d336040-6ee4-3a08-a1df-5b6599d4186b.png)
多节点:增加节点单独运行nova-volume,同时在计算节点上运行nova-network,并且根据不同的网络硬件架构选择DHCP或者VLan模式,让控制网络和公共网络的流量分离。
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/589892/ebe9994a-3ffb-398c-a39d-55a3761c5b14.png)
6. OpenStack的安装
OpenStack的安装是比较麻烦,可以参考官方文档进行: http://docs.openstack.org/diablo/openstack-compute/admin/content/ , 文档有一些地方没有更新到最新版本,会遇到一些小问题,推荐一个第3方脚本进行安装: http://devstack.org/ 它适合用来搭建实验环境。可以通过阅读这个脚本,同时配合官方文档来理解整个软件架构。
同时通过Ubuntu源安装的nova在实际使用过程中遇到一些小问题,都需要打补丁来解决,建议了解整个配置以后,可以改成从git上获取stable分支的代码进行安装,这样日后维护升级也比较方便。
如果你需要从无到有搭建整个数据中心,推荐Crowbar实现自动化远程安装: https://github.com/dellcloudedge/crowbar 从裸机到可用系统只用在web界面点击几下即可完成,还自带各种SA常用功能(比如nagios监控等),不过这个东西也比较复杂,推荐有兴趣的SA们试用。
7. 遇到的问题
官方文档和devstack脚本基本上都是为了搭建实验环境写的,没有为生产环境做最佳实践的指导,在安装过程中遇到很多问题,比如:
A. 多节点部署的时候要用multi host参数
B. 使用VLAN+硬件网关的时候做网络配置时候,需要指定dnsmasq_config_file来强制覆盖dnsmasq的网关配置
C. 用KVM制作windows镜像的时候需要安装virtio驱动
D. 通过Ubuntu源安装的Nova,在Ami格式的镜像启动的instance无法做snapshot,需要打 补丁
E. 通过Ubuntu源安装的Nova,在启用keystone进行身份认证的情况下,无法提供EC2的兼容API,也需要打补丁
8. Openstack 的各种资料
A. 官网和wiki http://docs.openstack.org/
B. Devstack的脚本说明,对于了解如何配置各个组件非常有帮助 http://devstack.org/stack.sh.html
C. Rackspace的参考架构,有很多很有用的信息,包括硬件,网络,软件配置等等,强烈推荐: http://www.referencearchitecture.org
D. 看你准备基于什么技术进行虚拟化,KVM或者Xen的文档也是很有用的。
9. 展示
用dashboard管理虚拟机
![](http://dl.iteye.com/upload/attachment/589899/86c0d050-6991-3888-908b-005d6a7f3bfb.png)
通过noVNC在web上连接到虚拟机
![](http://dl.iteye.com/upload/attachment/589901/3fdeddb9-fa0e-32c2-94f5-fc598fb93769.png)