江晓龙的博客

在前面，是直接将整个块设备进行备份和还原的，长期下来，数据量会很大，磁盘的增长速度也会很快，RBD块存储的导入导出功能还提供了增量机制，可以通过增量导入导出，只将变化的数据进行备份导出，还原时，需要先还原一个全量的备份，然后根据增量的周期，一个一个的还原到集群中。在前面是通过快照的形式备份RBD块存储设备的，但是快照只能在集群内部进行使用，当整个集群出现故障时，快照还原将无法使用，另外如果想将数据迁移到另一个Ceph集群，快照也是无法实现的，因此就有了RBD存储的离线备份。

在前面使用copy-on-write机制基于快照做出来的链接克隆，与快照依赖性很强，如果快照损坏或者丢失，那么克隆的镜像将无法使用，使用这个镜像创建的虚拟机也会就此瘫痪，虽然可以对快照进行保护，但是也不可能做到百分百的保证，一旦快照丢失，产生的影响面将会非常广。在RBD块存储中提供flatten机制，可以解除克隆的镜像与快照的父子关系，相当于将克隆的镜像独立出来，解除父子关系后，相当于是完整克隆了，会占用更多的空间。

链接克隆是基于父镜像（快照）中快速创建出来的一个链接镜像（写时复制镜像），链接镜像读取数据是从父镜像中进行的，写数据是在链接镜像中进行的，通过链接克隆可以快速的克隆出很多个镜像，并行这些镜像都可以直接使用。copy-on-write机制其实就是将一个快照快速克隆成了一个写时复制镜像，快照是只读的，写数据都是在克隆的镜像里进行的，使用这个克隆的镜像就可以快速创建出虚拟机。父镜像都是只读类型的，将块设备进行快照的创建和保护快照，就可以创建出任意数量的写时复制克隆，也就是链接镜像。尝试删除快照，发现无法删除。

快照是在特定的时间点对数据进行一次备份，就相当于照相机与照片的概念，拍照也是在特定的时间点，拍摄下来这个时间的事务，而快照也是在某个时间点，对数据的状态进行保留，当数据丢失时，可以通过这个快照来还原某一时刻的数据。RBD块存储的回收站和我们理解的回收站是一样的理念，当块存储中的数据被删除后，提供一个临时的回收站，先将数据移动到这个回收站里，回收站也有一定的周期策略，当超过回收站数据保留的周期后，数据才会被彻底删除。查看回收站中的数据时需要指定数据所在资源池名称，相当于是在这个资源池下创建的回收站。

现在集群中有8个OSD，其中四个OSD是ssd的磁盘，另外四个OSD是hdd的磁盘，接下来我们会定义两套CrushMap规则，根据数据的重要性分别应用不同的CrushMap规则。规则名称：ssd_data该CrushMap规则会关联各个Ceph节点上类型是ssd磁盘的OSD，OSD的磁盘类型可以在Class类中定义，该条CrushMap规则会与ssd_rule角色进行关联，将数据重要性较高的Pool资源池应用ssd_rule这个角色，就可以将数据只落在ssd类型的OSD中。

CrushMap官方文档：https://docs.ceph.com/en/pacific/rados/operations/crush-map/Ceph集群数据写入流程，最终是通过Crush算法将数据落入到OSD中，使用Crush算法来存储和管理数据，相当于智能的数据分发机制。Ceph可以通过Crush算法准确的计算出数据应该存储在哪里，也可以计算出从哪里读取数据。Crush算法就是依据配置的Crush Map规则策略，将数据路由到对应的存储点。如下图所示，一份数据被拆成多个Object对象，这些Obje

Ceph集群中各个组件的默认配置参数并没有配置在配置文件中，因为Ceph部署方式很特别，ceph.conf文件是以ceph-deploy工具推送到各个服务器的，Ceph集群各个组件的配置文件以sock方式存放在/var/run/ceph这个路径中。永久修改配置参数，就是将要调整的配置参数写入到ceph.conf文件中，然后使用ceph-deploy工具推送到集群各个节点，最后重启所有节点的该组件即可。命令指定组件的sock文件，去查询、修改某个组件的配置参数。以mon组件为例演示查看和修改配置参数的方法。

如果一个Pool资源池中的PG数量很多，就意味着会通过CRUSH算法将Object数据分散写入到更多的OSD中，数据分散存储在OSD的数量越多，对于数据的安全性就越高，相反，如果Pool中的PG数量过少，那么通过CRUSH算法将数据分散存储到OSD的数量就越少，数据的丢失概率就会很高。在使用公式计算PG的数量时，建议使用OSD*200，可以方便后期的数据量的扩展，随着数据量的增长，PG的数量也需要增长，如果一开始设置的数量很多，再后期就不需要扩容了。例子：集群有200个OSD，Pool资源池的副本数为3。

命令可以查看集群中每个OSD的资源利用率，包括使用率和可用空间的大小，以及OSD的状态，通过此命令可以观察OSD的空间剩余，如果OSD的空间不足，也会导致集群出现问题，当OSD空间不足时，可以扩容OSD或者删除上层文件来解决。命令可以看到集群的资源利用率，会显示出Ceph集群的总空间容量、剩余容量、使用的容量，还会显示出集群中Pool资源池的利用率。通过集群状态信息可以看到集群的健康状态、各个组件的运行状态以及数据使用情况。类似于tail命令，持续变化刷新集群的状态信息。

官方操作文档：https://docs.ceph.com/en/pacific/rados/operations/operating/带@符号的都是可以对一个主机或者某一个组件进行管理操作，以target结尾的都是全局性质的。快速记忆：带target的表示管理所有该组件的进行，带@的表示管理单一组件。这几种方式中，循序渐进，越来越细微划分，从整体到分组到单体到个体。Ceph所有组件的守护进程：ceph.target。Ceph组件守护进程管理是通过。

如果硬盘出现了坏道的情况，就会影响整个集群的性能，从而拖垮整个Ceph集群，遇到这种情况执行上述命令不会显示down的状态，因为磁盘出现了坏道，磁盘还是可以用的，只不过性能有所下降。OSD从集群中踢出时，也会触发Reblanceing数据重分布机制，将OSD中的数据迁移到其他的OSD中，当OSD的数据全部同步完成后，再将OSD彻底移除。将故障的OSD硬盘修复好之后，将该盘的LVM卷删除，然后通过添加OSD的方式，将该OSD重新加入集群即可。原来集群中有8个OSD，选择已经变成7个OSD了，删除成功。

在实际生产环境中，如果PG中的数据量非常大，在触发Reblanceing机制时，会对集群的性能有所影响，如果一次性增加很多个OSD节点，那么就意味着会有大量的PG被移动，此时就会对集群的性能产生巨大的影响，因此建议，每次在扩容OSD时，只扩容一个OSD。在扩容前集群有两个OSD节点，这两个OSD中分布着十个PG，扩容后，集群中有三个OSD节点，此时就会触发Reblanceing数据重分布机制，将原有的两个OSD中的一部分PG移动到第三个OSD中，使的每个OSD中的PG数量均衡。

ceph-node-1节点已经有3个OSD，一个硬盘就对应一个OSD节点。这条命令其实就是执行了一个dd命令，将硬盘的数据清空。

官方文档：https://docs.ceph.com/en/pacific/cephfs/传统的文件存储通常使用的是NAS存储，通过NFS协议来实现，NFS类型的文件存储可以同时共享给多个客户端使用，传输协议简单，只要有网络就可以实现。对于存储而言，高可用性是必须具备的，一旦存储宕机，就会影响应用程序的使用，而NAS存储最典型的缺点就是单点故障。

RGW支持的这两种API接口，底层存储系统都是对接Ceph集群，在上游用户可以通过提供的Swift API接口，将数据上传到Bucket空间，最后会落到Ceph集群的OSD上。无论是S3还是Swift接口，最终面向的都是Ceph集群的RGW对象存储，如果与S3使用的是同一个用户，那么使用S3创建的Bucket在Swift接口中照样可以看到。在上面，执行Swift命令时，需要指定接口地址、用户、SecretKey，字段非常多，不好记忆，Swift支持将这些信息设置成环境变量，方便我们使用。

RGW虽然支持S3风格的API接口，但是并不是说RGW创建的就是S3对象存储，对象存储依旧是RGW，只不过RGW支持客户端通过S3对象存储的API接口风格，将数据写入到RGW中。RGW支持的这两种API接口，底层存储系统都是对接Ceph集群，在上游用户可以通过提供的S3 API接口，将数据上传到Bucket空间，最后会落到Ceph集群的OSD上。RGW支持两种API风格的对象存储接口，分别是S3和Swift接口，本文来讲解RGW对象存储的S3 API接口的使用。回车的都表示保持默认。

Ceph RadosGW是对象存储的一种实现方式，简称RGW，Rados网关也被称为Ceph对象网关，RadosGW使客户端能够利用标准的对象存储API接口来访问Ceph集群进行存储数据。AWS S3：与亚马逊云的S3对象存储API接口兼容。OpenStack Swift：与OpenStack的Swift的API接口兼容，提供对象存储功能。RGW对象存储提供RESTful API类型的接口，如果有类似阿里云等对象存储的可视化接口，可以直接在图形化界面操作对象存储。

RBD块存储在使用过程中，肯定会遇到磁盘空间不够用的情况，需要进行扩容，也会遇到磁盘空间太大，这时就需要缩容。

RBD（Reliable Block Device）组件是一种构建在RADOS集群之上为客户端提供块设备存储接口接口的中间层，提供的块存储服务可以形成一个裸磁盘，提供格式化、映射的功能，挂载到服务器中。这类的客户端包括虚拟化KVM和云计算OpenStack。RBD组件支持存储空间的动态扩容，也可以借助RADOS实现快照、副本和一致性。客户端访问RBD的方式：创建完RBD块存储类型的存储后，从块存储中映射出来的裸磁盘，如果想要被集群之外的其他服务器连接使用，该服务器需要具备以下三个条件：Ceph集群的RBD块

Ceph分布式存储集群Pool资源池的概念以及使用文章目录Ceph分布式存储集群Pool资源池的概念以及使用1.Pool资源池的概念2.Pool资源池的基本操作2.1.创建一个Pool资源池2.2.为资源池设置应用模式2.3.查看资源池设置的应用模式2.4.查看OSD所有的资源池2.5.查看资源池的PG数量和PGP数量2.6.查看资源池的副本数量2.7.查看资源池的类型2.8.设置资源池的PG数量以及PGP数量2.9.设置资源池的副本数量2.10.设置资源池的最大object对象数量2.11.重命名资源池

Ceph分布式存储集群环境搭建以及节点扩容流程文章目录Ceph分布式存储集群环境搭建以及节点扩容流程1.Ceph分布式存储集群安装方式2.Ceph集群环境规划以及架构图2.1.Ceph集群规划2.2.Ceph集群部署架构图3.搭建Ceph分布式存储集群3.1.基础环境配置3.2.配置Ceph yum源3.3.安装Ceph-deploy自动化部署工具3.4.在ceph-node-1节点中安装Monitor组件3.4.1.首先初始化创建一个Ceph集群3.4.2.在ceph-node-1节点中部署Monito

Ceph分布式存储核心概念以及架构原理文章目录Ceph分布式存储核心概念以及架构原理1.Ceph分布式存储介绍2.Ceph分布式存储架构3.Ceph集群中核心组件以及作用4.Ceph RADOS中的核心组件4.1.Ceph Monitor监控组件4.2.Ceph OSD组件5.Ceph分布式存储数据写入流程6.Ceph分布式集群架构原理图1.Ceph分布式存储介绍Ceph存储官方文档地址：https://docs.ceph.com/en/pacific/Ceph是一个统一的分布式存储，支持对象存储、

现如今常见的几种存储类型介绍1.DAS存储Direct Attached Storage简称DAS，直接附加存储，DAS存储是第一代存储服务，DAS存储是一堆存储阵列组成的一块盘，这块盘可以挂在到服务器中，进行格式化以及数据存储，相当于一块外挂盘，也就是移动硬盘的概念，服务器连接这块盘需要使用SCSI总线或者FC光纤进行连接。DAS的优点在于组网简单、成本低廉，缺点也很明显，因为是一根线连接的盘，无法多个服务器同时使用，扩展性差，并且无法共享。DAS存储现在基本不会使用了。2.NAS存储Netw