HHFQ的博客

我们看到有17771个被阻塞的Ops，这个问题在大约32小时前就开始了。如果遇到类似的问题，请遵循以下步骤。在RHCS 6.1z2及更高版本中解决了代码问题。代码问题将在RHCS 5.3z6中解决。在输出文件中查找时间戳，并记录下两个最老的Blocked Ops的所有数据。选择要从MDS中驱逐的2个客户端之一。Red Hat建议升级以从您的环境中消除此问题的可能性。）的，这些请求已经存在了数小时，并且MDS尚未重启。，认为它刚刚开始，而不是已经在中间。开始，两个操作之间出现了死锁。通常情况下，在MDS。

在OCP/ODF平台中，当pod试图启动并且花费太多时间(分钟或小时)时，可以报告此错误，通常它试图挂载包含数百万文件的cepfs PV，并且pod留在。当pod最终启动时，ceph错误被清除。

使用BlueStore OSD后端，Red Hat Ceph Storage获得了一种称为“动态数据压缩”的新功能，有助于节省磁盘空间。可以对在BlueStore osd上创建的每个Ceph池启用或禁用压缩。除此之外，使用Ceph CLI可以随时更改压缩算法和模式，而不管池中是否包含数据。在本文中，我们将深入探讨BlueStore的压缩机制，并了解其对性能的影响。BlueStore中的数据是否被压缩由压缩模式和与写操作相关的任何提示的组合决定。

Ceph跟踪哪些硬件存储设备（例如，HDDs、SSDs）被哪些守护进程使用，并收集有关这些设备的健康指标，以便提供预测和/或自动响应硬件故障的工具。

元数据服务器（MDS）在CephFS的正常操作期间会经历几个状态。例如，某些状态表示MDS正在从MDS的前一个实例的故障切换中恢复。在这里，我们将记录所有这些状态，并包括一个状态图来可视化转换。

；使用ceph时经常会出现如上报警，原因不外乎网络异常，CPU异常，硬盘IO高影响。有时也就比1s慢了一点点，把这个阀值稍微调大就行了。

众所周知，cephfs的数据和元数据是分离的，处于不同的pool池里头，而无论是rgw、cephfs、rbd底层的数据池的存储都是基于RADOS(Reliable Autonomic Distributed Object Store),Ceph存储集群的基础，RADOS层的一切都是以对象的形式存储着的，无论上层是文件、对象还是块。主要说说cephfs的文件在数据池中是如何分布的，下面以cephfs的内核客户端为例进行分析。

每一个目录分片在元数据池中作为一个dir对象存在。通过查看元数据池中目录分片的内容，我们可以看到对应dir对象中存在的文件的dentry和inode信息，以1000000000c.09640000分片为例，如下可见dir对象中存放的items map记录管理的目录项dentry， 每一个目录或文件的dentry信息以key-value键值对的形式存在dir中。以vdb.1_1.dir为例，其父目录为testSetattr，inode号为109951163887，转成16进制为10000002B59。

因此一个PG的Scrub流程每次会启动小部分的对象校验，Ceph 会以每个对象名的哈希值的部分作为提取因子，每次启动对象校验会找到符合本次哈希值的对象，然后进行比较。Scrub是Ceph集群进行的副本间的数据扫描操作，以检测副本间的数据一致性，包括Scrub和Deep-Scrub，其中Scrub只是对元数据信息进行扫描，相对比较快，而Deep-Scrub不仅对元数据进行扫描，还会对存储的数据进行扫描，相对比较慢。每次Scrub会扫描一个PG内的部分对象，校验期间对象的数据是不允许修改。

本文档根据本文档末尾的提供。

默认情况下，在一个Ceph Storage 集群上创建多个CephFS是禁用的。 尝试创建额外的 CephFS会失败，并显示以下错误消息：Error EINVAL: Creation of multiple filesystems is disabled.虽然技术上可行，但红帽不支持在一个Ceph 存储集群上拥有多个CephFS。 这样做会导致 MDS 或 CephFS 客户端节点意外终止。CephFS在以下方面与严格的 POSIX 语义不同：如果客户端尝试写一个文件失败，写操作不一定是原子

元数据服务器协调所有 MDS 和 CephFS 客户端之间的分布式缓存。 缓存用于改善元数据访问延迟并允许客户端安全（连贯地）改变元数据状态（例如，通过 chmod）。 MDS 释放 capabilities 和 directory entry leases 以指示客户端可以缓存哪些状态以及客户端可以执行哪些操作（例如写入文件）。MDS 和客户端都尝试强制缓存大小。 指定 MDS 缓存大小的机制如下所述。 请注意，MDS 缓存大小不是硬限制。 MDS 始终允许客户端查找加载到缓存中的新元数据。 这是一项基

Ceph各个版本之间参数变化分析原文：https://www.cnblogs.com/zphj1987/p/13671961.html前言本篇主要是分析ceph的版本之间参数的变化，参数变化意味着功能的变化，通过参数来分析增加，删除，修改了哪些功能，以及版本之间的变化，本篇主要通过导出参数，然后通过脚本去比对不同的版本的参数变化14版本之前安装一个ceph-common,然后touch一个空配置文件就可以通过ceph --show-config拿到版本的配置文件14版本之后需要安装好mon，并且这

记录一次cephfs内核客户端死锁问题定位过程原文地址：https://zhuanlan.zhihu.com/p/375464867一、 问题背景Ceph是一款开源分布式存储系统，其具有丰富的功能和高可靠、高扩展性，并且提供统一存储服务，可以同时提供文件、对象、块服务。随着集群规模和业务量的增大，在使用文件的过程中遇到文件系统内核客户端死锁的问题，本文将详细介绍问题的定位过程和解决方案。二、架构介绍为了更好的阐述问题，先简单的介绍一下文件系统的整体架构，架构如下图1 系统架构图从图中可以看出

集群状态报告MDSs behind on trimminghttps://www.suse.com/support/kb/doc/?id=000019740本文档 (000019740) 根据本文档末尾的 免责声明 提供。环境SUSE Enterprise Storage 6现象集群状态显示以下健康警告：HEALTH_WARN MDSs behind on trimmingHEALTH_WARN x clients failing to respond to cache pressure

SUSE 企业存储在 Arm 上提供最佳 CephFS 基准自 2006 年推出以来，Ceph 主要用于性能不是最关键方面的容量密集型用例。 由于该技术具有许多吸引人的功能，因此一直希望将 Ceph 的使用扩展到高性能计算等领域。 HPC 环境中的 Ceph 部署通常作为一个活动存档（第 2 层存储），位于另一个充当主存储层的并行文件系统后面。我们已经看到 Ceph 技术的许多重大改进。 SUSE 和其他人对开源项目的贡献带来了新功能，大大提高了效率，并使基于 Ceph 的软件定义存储解决方案能够为越来

【ceph相关】bucket动态分片1、背景说明参考说明：https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/2/html/object_gateway_guide_for_ubuntu/administration_cli#configuring-bucket-index-shardinghttps://ceph.com/community/new-luminous-rgw-dynamic-bucket-shard

bucket对象回收lifecycle机制2019-07-07针对功能，对照代码，理解radosgw的lc机制在radosgw中，可以针对bucket设置其对象的生命周期，当对象存活时间超出这个时间后，rgw会对其进行删除回收，这里设置的粒度目前是在bucket，也就是不能针对object设置其失效时间bucket的lc机制弊端是很明显的，在lc打开的情况下，进行lc的做法是遍历整个bucket的对象，找出超过存活时间的对象进行回收，这就意味着，如果单个bucket对象数量十分庞大，这个遍历就会极其

集群健康检查Ceph Monitor守护程序响应元数据服务器（MDS）的某些状态生成健康消息。 以下是健康消息的列表及其解释：mds rank(s) have failed一个或多个MDS rank当前未分配给任何MDS守护程序。在启动合适的替换守护程序之前，存储集群不会恢复。mds rank(s) are damaged一个或多个MDS rank存储的元数据出现严重损坏，在修复元数据之前无法重新启动。mds cluster is degraded一个或多个MDS rank当前未启动并运行

ceph的pg平衡插件balancer 原作者：武汉-运维-磨渣原文地址：https://www.cnblogs.com/zphj1987/p/13575484.html前言ceph比较老的版本使用的reweight或者osd weight来调整平衡的，本篇介绍的是ceph新的自带的插件balancer的使用，官网有比较详细的操作手册可以查询使用方法查询插件的开启情况[root@node1 ceph]# ceph mgr module ls{ "enabled_modules": [

Ceph 出现pg object unfound的处理经过原文链接：https://my.oschina.net/xiaozhublog/blog/30754041、背景集群中的一个节点损坏，同时另外一个节点坏了一块盘2、问题查看ceph集群的状态，看到归置组pg 4.210丢了一个块# ceph health detailHEALTH_WARN 481/5647596 objects misplaced (0.009%); 1/1882532 objects unfound (0.000%)

当为桶启用对象版本控制时，开发人员可以选择将桶配置为要求对删除请求进行多重身份验证 (MFA)。 使用 MFA，基于时间的一次性密码 (TOTP) 令牌作为密钥传递到 x-amz-mfa 标头。 令牌是使用虚拟 MFA 设备（如 Google Authenticator）或硬件 MFA 设备（如 Gemalto 提供的设备）生成的。S3 多重身份验证(MFA) 功能允许用户在删除某些桶上的对象时要求使用一次性密码。 桶需要配置版本控制和 MFA，这可以通过 S3 api 完成。可以通过 radosgw-

2. Monitor 的备份和恢复本篇内容来自 徐小胖’blog —— monitor 的增删改备Monitor 的备份每个 MON 的数据都是保存在数据库内的，这个数据库位于 /var/lib/ceph/mon/$cluster-$hostname/store.db ，这里的 $cluster 是集群的名字， $hostname 为主机名，MON 的所有数据即目录 /var/lib/ceph/mon/$cluster-$hostname/ ，备份好这个目录之后，就可以在任一主机上恢复 MON 了。

10. 修改 MON IPCeph 客户端和其他 Ceph 守护进程通过 ceph.conf 来发现 monitor。但是 monitor 之间是通过 mon map 而非 ceph.conf 来发现彼此。10.1 修改 MON IP（正确的方法）仅修改 ceoh.conf 中 mon 的 IP 是不足以确保集群中的其他 monitor 收到更新的。要修改一个 mon 的 IP，你必须先新增一个使用新 IP 的 monitor（参考1.6 增加/删除 Monitor），确保这个新 mon 成功加入集群

Ceph 对象网关集成LDAP/AD 指南LDAP 身份验证除了默认的本地用户身份验证以外，对象网关还能利用 LDAP 服务器服务来对用户进行身份验证。身份验证机制对象网关从令牌提取用户的 LDAP 身份凭证。可以基于用户名构造搜索过滤器。对象网关使用配置的服务帐户在目录中搜索匹配的项。如果找到了某个项，对象网关会尝试使用令牌中的密码绑定到所找到的判别名。如果身份凭证有效，绑定将会成功，并且对象网关会授予访问权限。可以通过将搜索范围设置为特定的组织单位，或者指定自定义搜索过滤器（例如，要求特定的组成

摘抄自《从Paxos到Zookeeper 分布式一致性原理与实践》在分布式系统中，每一个机器节点虽然都能够明确地知道自己在进行事务操作过程中的结果是成功或失败，但却无法直接获取到其他分布式节点的操作结果。因此，当一个事务操作需要跨越多个分布式节点的时候，为了保持事务处理的 ACID 特性，就需要引入一个称为 “协调者 (Coordinator)" 的组件来统一调度所有分布式节点的执行逻辑，这些被调度的分布式节点则被称为 “参与者” （Participant)。协调者负责调度参与者的行为，并最终决定这些参

RGW Appendappend object

去年推出的一个博客系列记录了红帽在 Dell EMC 服务器上对红帽 Ceph 存储性能进行的广泛测试。 这项工作也在性能和规模调整指南中进行了描述，并得到了戴尔科技公司和英特尔公司的支持，评估了影响红帽 Ceph 存储性能的许多因素，包括：确定固定大小集群的最大性能将集群扩展到超过 10 亿个对象调整 Dell EMC 测试集群以获得最大红帽 Ceph 存储性能在其他参数中，红帽工程师研究了 Ceph RADOS 网关 (RGW) 规模、动态存储桶分片、Beast 与 Civetweb 前端以

对象网关支持上传对象的服务器端加密，有 3 个管理加密密钥的选项。 服务器端加密意味着数据以未加密的形式通过 HTTP 发送，对象网关以加密形式将该数据存储在 Ceph 存储集群中。注服务器端加密请求必须通过安全的 HTTPS 连接发送，以避免以明文形式发送机密。 如果代理用于 SSL 终止，则必须启用rgw trust forwarded https，然后转发的请求才会被信任为安全。要点要使用加密，客户端请求必须通过 SSL 连接发送请求。 RGW 不支持来自客户端的 S3 加密，除非 Ce

Ceph 对象网关会记录每个用户的使用情况。 也可以在日期范围内跟踪用户使用情况。选项包括：开始日期：–start-date 选项允许从特定开始日期过滤使用统计信息（格式：yyyy-mm-dd[HH:MM:SS]）。结束日期：–end-date 选项允许过滤特定日期之前的使用情况（格式：yyyy-mm-dd[HH:MM:SS]）。日志条目：–show-log-entries 选项允许指定是否在使用统计信息中包含日志条目（选项：true | false）。可以用分钟和秒指定时间，但它以 1 小时

Ceph 对象网关支持使用任何 Ceph 压缩插件对上传的对象进行服务器端压缩。 这些包括：zlib: 已支持。snappy: 技术预览。zstd: 技术预览。注snappy 和 zstd 压缩插件是技术预览功能，因此它们不被完全支持，因为 Red Hat 尚未完成对它们的质量保证测试。配置要在zone的放置目标上启用压缩，请为 radosgw-admin zone placement modify命令提供 –compression= 选项。 压缩type是指写入新对象数据时使用的压缩

Ceph对象网关将桶索引数据存储在索引池（index_pool）中，该索引池默认为 .rgw.bucket.index 。当客户端将许多对象（数十万到数百万个对象）放入一个桶中而没有为每个桶的最大对象数设置配额时，索引池可能会出现显著的性能下降。当每个桶允许大量对象时，桶索引分片（bucket index sharding）有助于防止性能瓶颈。可以为新桶配置桶索引分片或更改现有桶的桶索引。要配置桶索引分片：对于简单配置中的新桶，请参阅“在简单配置中配置桶索引分片”对于多站点配置中的新桶，请参阅“

单个zone配置通常由一个zonegroup组成，该zonegroup包含一个zone和一个或多个ceph radosgw实例，可以在这些实例之间对网关客户端请求进行负载平衡。在单zone配置中，通常多个网关实例指向单个Ceph存储群集。但是，Red Hat支持Ceph对象网关的多种多站点配置选项：Multi-zone: 一种更高级的配置包括一个zone group和多个zone，每个zone有一个或多个ceph-radosgw实例。每个zone都有自己的Ceph存储集群作为后盾。zone group中

作为存储管理员，可以为Ceph Storage集群安装和配置iSCSI网关。 借助Ceph的iSCSI网关，可以有效地运行具有常规存储区域网络（SAN）的所有功能和优势的完全集成的块存储基础架构。CEPH ISCSI网关简介传统上，对Ceph存储集群的块级访问仅限于QEMU和librbd，这是在OpenStack环境中采用的关键推动因素。 现在，对Ceph存储集群的块级访问可以利用iSCSI标准来提供数据存储。iSCSI网关将Ceph Storage与iSCSI标准集成在一起，以提供将RADOS块设备

在Ceph Manager守护程序（ceph-mgr）的卷模块中实现了CephFS导出的单一事实来源。 OpenStack共享文件系统服务（manila），Ceph容器存储接口（CSI），存储管理员以及其他人可以使用ceph-mgr卷模块提供的通用CLI来管理CephFS导出。ceph-mgr卷模块实现了以下文件系统导出抽象：FS 卷, CephFS文件系统的抽象FS 子卷, 独立CephFS目录树的抽象FS 子卷组, 一个比FS子卷高的目录级别的抽象，用于跨一组子卷执行策略(例如，File la

池布局和存储类布局目标Jewel版本的新功能。​ 布局目标控制哪些池与特定桶关联。 在创建时选择桶的布局目标，无法修改。 radosgw-admin bucket stats命令将显示其placement_rule。​ zonegroup配置包含一个布局目标列表，其初始目标名为default-placement。 然后，zone配置将每个zonegroup布局目标名称映射到其本地存储。 该zone布局信息包括桶索引的index_pool名称，有关不完整分段上传的元数据的data_e

使用S3对象锁，可以使用一次写入多次读取（WORM）模型存储对象。 可以使用它来防止对象在固定的时间内或无限期地被删除或覆盖。 Object Lock可帮助满足需要WORM存储的法规要求，或仅添加另一层保护以防止对象更改和删除。S3 Object Lock已通过Cohasset Associates评估，可在符合SEC 17a-4，CTCC和FINRA规定的环境中使用。 有关“对象锁”如何与这些法规相关的更多信息，请参阅Cohasset Associates法规遵从性评估。对象锁提供了两种管理对象保留的

Amazon S3为所有区域中S3桶中的新对象的PUTS提供了写后读取一致性，但请注意。 需要注意的是，如果在创建对象之前向键名发出HEAD或GET请求，然后在不久之后创建对象，则由于最终的一致性，后续的GET可能不会返回该对象。Amazon S3为所有区域的覆盖put和delete提供了最终的一致性。对单个key的更新是原子的。例如，如果PUT现有key，则后续读取可能会返回旧数据或更新后的数据，但绝不会返回损坏或部分数据。Amazon S3通过在AWS数据中心内的多台服务器之间复制数据来实现高可用

balancer 可以优化OSD上PG的放置，以自动或以监督方式实现均衡分布。状态balancer的当前状态可以随时通过以下方式检查：ceph balancer status自动均衡可以使用默认设置启用自动平衡，方法是：ceph balancer on可以使用以下方法再次关闭balancer：ceph balancer off这将使用与旧客户端向后兼容的crush-compat模式，并且随着时间的流逝对数据分布进行细微更改，以确保OSD被平等地利用。节流如果集群降级（例如，因为O

Ceph对象网关支持应用于桶的Amazon S3策略语言的子集。创建和删除桶策略是通过标准S3操作而不是radosgw-admin管理的。例如，可以使用s3cmd设置或删除策略，因此：$ cat > examplepol{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": {"AWS": ["arn:aws:iam::usfolks:user/fred:subuser"]}