java ceph_后台开发高级工程师必备技能-分布式存储ceph介绍

Ceph介绍

ceph是当前最热门的分布式存储系统之一，是软件定义存储(SDS,SoftwareDefinedStorage)解决方案中的典范。其具备良好的可靠性、可扩展性，应用范围包括块存储(RBD,RadosBlockDevice)、文件存储(CephFS,CephFileSystem)和对象存储(RADOSGW,Reliable、Autonomic、Distributed、ObjectStorageGateway)，被广泛应用于云计算底层IAAS平台，更是OpenStack首选的后端存储，不管是互联网企业还是金融等传统行业，都被广泛应用。

ceph使用C++语言开发，采用分布式、无中心化的设计，具备横向扩展能力和故障容灾能力，每个组件都能够线性扩展且不存在单点故障，支持到EB级的存储扩展，对应用程序提供标准统一的访问入口。

ceph每半年发布一个版本，版本分为长期稳定版(LTS)和开发版本，同时会维护多个稳定版本，推进bug的修复。目前最新的版本是v14.2.2 Nautilus，历史的一些版本如下：

可以看到，基本是按照半年一个版本的速度更新，较为稳定。

Ceph功能组件如下图所示，Ceph对于三大存储类型的支持是依赖底层的RADOS存储系统，整体架构上包含了OSD、MDS、Monitor等核心功能组件。

Ceph组成模块

Ceph OSDOSD全称是Object Storage Device，用于数据存储、复制、恢复，上报相关数据给Monitor,是Ceph的核心组件之一。一个Ceph集群至少需要两个Ceph OSD实现active+clean的健康状态。一个磁盘、一个分区都可以作为一个OSD，所以实验环境下可以在单机上搭建。Ceph MonitorCeph Monitor用于整个集群的状态监控和决策，实现整个集群视图的一致性，这是Ceph无中心化设计的一个重点。包含了Monitor map、OSD map、PG map和CRUSH mapMonitor mapMonitor节点也是可以横向扩展的，Monitor map包含所有Monitor节点的信息，包括集群ID，主机名，IP和端口等信息。OSD mapOSD map包含Ceph Pool的id、名称、类型，副本以及PGP信息，包含OSD的数量、状态、最细清理间隔、OSD所在主机等信息。多个OSD形成一个Ceph Pool。PG mapPlacement Group map包含当前的PG版本、时间戳、空间使用比例以及每个PG的基本信息。CRUSH mapCRUSH是英文Controlled Replication Under Scalable Hashing的缩写，是一种可扩展哈希发的可控复制算法。CRUSH map存储集群存储设备信息，故障层次结构以及存储数据时失败域规则信息。Ceph MDSCeph Metadata Server，顾名思义，是包含Ceph文件系统(Ceph FS)的元数据的模块。ceph的块存储和对象存储都不需要用到MDS。Ceph技术架构

Ceph底层都是依赖于RADOS,提供了一个可靠的具有自我修复能力的分布式存储。如下图所示：

ceph技术架构

LIBRADOSRADOS的应用程序库，提供应用程序的直接访问，提供了Java和Python等类库，这是接口统一性的体现。RADOSGWRADOSGW是基于restful的网关，兼容S3和Swift，提供统一的访问入口，利用RADOSGW可以实现跨机房的访问和基于近端的负载均衡。RBDRBD提供Ceph的块设备的功能，其通过内核与QEMU/KVM交互来创建一个块设备挂载到VM上提供使用。Ceph FSCeph FS提供了一个兼容POSIX的文件系统，值得注意的是因为历史原因，Ceph FS的支持比较弱，功能还不够完善。Ceph安装部署

Ceph-DeployCeph为了方便用户安装Ceph集群简化过程，提供了Ceph-Deploy工具，通过配置免密的SSH自动登录到服务器安装相关的组件，过程十分的简便。Step-By-Step Deploy除了使用Ceph-Deploy之外，官方亦提供了一步步手工安装的方案，过程比较复杂麻烦，很多文章都建议初学者直接使用Ceph-Deploy，笔者却认为手工一步步安装的方案虽然复杂但是可以对Ceph集群理解更深，安装过程中不免遇到各种各样的问题，一步步去解决以后，绝对会收获良心。本篇先进行Ceph的整体技术架构的介绍，下篇会考虑编写Ceph详细的安装部署文档以及进阶内容，有任何问题欢迎探讨。文章末尾做个小调查，你认为当前最好的分布式存储系统是哪个？