Ceph入门到静态-deep scrub 深度清理处理

最新推荐文章于 2024-05-06 22:37:07 发布
最新推荐文章于 2024-05-06 22:37:07 发布
阅读量867 收藏
点赞数
分类专栏： Ceph入门到精通 文章标签： ceph 数据库 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxb880114/article/details/132894899
版权

9.6 洗刷 REPORT DOCUMENTATION BUG#

除了为对象创建多个副本外，Ceph 还可通过洗刷归置组来确保数据完整性（请参见第 1.3.2 节 “归置组”了解有关归置组的详细信息）。Ceph 的洗刷类似于在对象存储层运行 fsck。对于每个归置组，Ceph 都会生成一个包含所有对象的编目，并比较每个主对象及其副本，以确保不会有缺失或不匹配的对象。每天的浅层洗

了解本专栏 订阅专栏 解锁全文 超级会员免费看
未来AI编程
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
ceph 运维操作-SCRUB
weixin_44389885的博客
12-05 2575
1. 基本概念 1.1 什么是 Scrub Scrub是 Ceph 集群副本进行数据扫描的操作，用于检测副本间数据的一致性，包括 scrub 和 deep-scrub。 其中scrub 只对元数据信息进行扫描，相对比较快；而deep-scrub 不仅对元数据进行扫描，还会对存储的数据进行扫描，相对比较慢。 1.2 Scrub默认执行周期 OSD 的scru...
ceph 数据校验机制 scrub源码分析
guzyguzyguzy的博客
07-13 5566
ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象，通过与其他副本比对来发现是否一致，如果存在不一致，抛出异常提示用户手动解决。 具体讲，scrub 以PG 为单位，对于每一个pg,ceph 分析该pg下所有的object, 产生一个类似于元数据信息摘要的数据结构，如对象大小，属性等，叫scrubmap, 比较主与副scrub
2024年软件测试最全【ceph】ceph关于清洗数据scrub的参数分析_osd_scrub_begin_hour，软件测试基础入门教程
最新发布
2401_84140832的博客
05-06 284
很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！osd_scrub_chunk_max # 针对小文件多，可以调整大。osd_max_scrubs # 建议不要超过10。
ceph deep-scrub卡住导致业务中断问题分析
sefaxiaoji的博客
04-29 3125
1. 问题背景 一个pg scrub了14天，前端虚机挂掉大半 2. 分析过程 2.1 查看scrub pg的主OSD日志 从日志里可以看出pg[13.832]： 有slow op，该oldest slow op等待时间1199828s==14天 这些op 都处于waiting for scrub 什么场景会导致op处于waiting for scrub？ 首先从字面上可以理解这些op是等待...
ceph deep scrub扫描的脚本
pansaky的博客
03-29 1083
有时候在ceph测试过程中需要手动对pg进行深度scrub，甚至对全部osd来做扫描，此种情况写了个脚本以供参考 #!/bin/sh osd=$1 #扫描指定osd do_one() { num=`ceph pg ls-by-primary osd.$1 | grep -i active | awk '{print $1}'|wc -l` cat ${num} for((i=1;i<...
Ceph集群定时Scrub
Linux_kiss的博客
09-28 589
1、背景： Ceph集群会定时进行Scrub操作，在Ceph对接OpenStack的场景中，如果Ceph集群正在进行Scrub操作，会对Scrub的数据进行加锁，如果OpenStack使用Ceph作为后端存储的虚拟机此时也在访问该数据，就会导致OpenStack中使用Ceph作为后端存储的虚拟机可能会出现卡顿的现象。 1）Scurb是什么？ Scrub是Ceph集群副本进行数据扫描的操作，用以检测...
【分析】Ceph数据一致性检查 - Scrub的介绍
渡江客涂鸦板
07-15 3271
Ceph实现了Scrub机制，采用一种通过后台扫描的方案来解决ceph数据一致性的问题。
K8s-ceph-csi-rbd连接资源
06-15
总之，K8s-ceph-csi-rbd连接资源涉及到Kubernetes的存储管理、Ceph RBD块存储以及CSI接口的使用。通过正确配置和部署，Kubernetes可以方便地利用Ceph的存储能力，提供高效、灵活的存储解决方案。在实际操作中，务必...
【批量下载】ceph-iscsi-tools-2.1-3.el7cp.noarch等.zip
04-24
标题中的“ceph-iscsi-tools-2.1-3.el7cp.noarch”是指Ceph iSCSI工具的特定版本，适用于Red Hat Enterprise Linux 7的兼容版本（el7cp）。Ceph是一个开源的分布式存储系统，而iSCSI（Internet Small Computer ...
ceph-mgr-dashboard-14.2.7-0.el7.noarch.rpm
12-10
离线安装包，亲测可用
ceph-radosgw-10.2.10-0.el7.x86_64.rpm
12-18
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
ceph-mgr-dashboard-14.2.0-1.el7.noarch.rpm
12-10
离线安装包，亲测可用
Ceph一致性检查工具Scrub机制
大隐隐于野
09-06 996
Ceph在内部实现了一致性检查的一个工具： Ceph Scrub。其原理为：通过对比各个对象副本的数据和元数据，完成副本一致性检查。这种方法的优点是后台可以发现由于磁盘损坏而导致的数据不一致现象。缺点是发现的时机往往比较滞后。Scrub按照扫描的内容分为两种方式：一种叫做Scrub，它仅仅通过对比对象各副本的元数据，来检查数据的一致性。由于只检查元数据，读取数据量和计算量都比较小，是一种比较轻度的检查。
Ceph的可靠性恢复原理 Scrub机制
QTM_Gitee的博客
10-19 1017
因此一个PG的Scrub流程每次会启动小部分的对象校验，Ceph 会以每个对象名的哈希值的部分作为提取因子，每次启动对象校验会找到符合本次哈希值的对象，然后进行比较。Scrub是Ceph集群进行的副本间的数据扫描操作，以检测副本间的数据一致性，包括Scrub和Deep-Scrub，其中Scrub只是对元数据信息进行扫描，相对比较快，而Deep-Scrub不仅对元数据进行扫描，还会对存储的数据进行扫描，相对比较慢。每次Scrub会扫描一个PG内的部分对象，校验期间对象的数据是不允许修改。
由一次slow-request浅谈Ceph scrub原理
JDDTechTalk的博客
09-22 2536
一、背景介绍 Ceph是一款开源分布式存储系统，其具有丰富的功能和高可靠、高扩展性，并且提供统一存储服务，既支持块存储RBD，也支持对象存储RadosGW和文件系统CephFS，被广泛应用在私有云等企业存储场景。 在京东数科内部，Ceph也被广泛应用，用来支撑公司基础存储需求，并且支撑部分关键业务，随着数据量和集群规模逐渐扩大，在日常维护中，我们经常遇到各种异常情况，其中频次较多的就是慢请求slow-request，慢请求会导致性能抖动，直接影响集群的稳定性，需要谨慎对待。前段时间我们再一次遇到slow-r
6个步骤轻松实现 postman 接口压力测试（建议收藏），2024年最新2024阿里软件测试高级面试题总结
2401_84240431的博客
04-15 543
行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
【ceph】ceph关于清洗数据scrub的参数分析
zerotoall的博客
01-24 702
【ceph】ceph关于清洗数据scrub的参数分析 "osd_scrub_max_interval": "2592000.000000"：表示数据清洗的最大时间间隔为 2592000 秒，即 30 天。 osd_scrub_max_interval osd_deep_scrub_interval osd_scrub_load_threshold osd_scrub_chunk_max # 针对小文件多，可以调整大 osd_max_scrubs # 建议不要超过10
Ceph 存储池命令 以及 数据压缩
LCK 博客
08-13 2243
http://docs.ceph.org.cn/rados/ #ceph 官方运维手册 存储池的管理通常保存创建、列出、重命名和删除等操作 管理工具使用 ceph osd pool 的子命令及参数，比如 create/ls/rename/rm 等。 一、存储池操作 1.1 常用命令 创建存储池命令格式 ceph osd pool create <poolname> pg_num pgp_num {replicated|erasure} # 示例 ceph osd pool create mypo
【分析】Ceph数据一致性检查 - Scrub调优
渡江客涂鸦板
07-22 4613
除了使用对象多副本，Ceph还通过Scrub 归置组(PG)来保证数据的完整性。在对象存储层，Ceph Scrub类似于fsck。针对每一个归置组(PG)，OSD比较主副本和从副本，确保没有对象丢失和错误，捕获 OSD 缺陷和文件系统错误。OSD也能执行Deep Scrub：一般一周一次，通过读取数据和使用校验码来保证数据完整性，可以捕捉那些在轻度清洗过程中未能发现的磁盘上的坏扇区。。
ceph-mgr ceph-mon ceph-osd ceph-mds ceph-rgw
05-25
这是 Ceph 存储集群中常见的组件： - ceph-mgr：Ceph 管理进程，负责管理和监控整个 Ceph 集群，并向用户提供 REST API 和 Dashboard 等管理工具。 - ceph-mon：Ceph Monitor 进程，负责监控 Ceph 集群中的 OSD 和 MDS 状态，以及维护集群的状态信息。 - ceph-osd：Ceph Object Storage Daemon，负责存储数据对象并提供读写服务。 - ceph-mds：Ceph Metadata Server，负责存储 Ceph 文件系统的元数据（如文件名、权限等）。 - ceph-rgw：Ceph RADOS Gateway，是一个 RESTful 网关，提供 S3 和 Swift 协议接口，让应用程序能够与 Ceph 存储集群交互。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未来AI编程

共鸣===鼓励 打赏您随意

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值