ceph
文章平均质量分 68
手持钩笼引天下
半条命通关计算机世界
展开
-
ceph radosgw 原有zone placement信息丢失数据恢复
近期遇到一个故障环境,因为某些原因,导致集群原有zone、zonegroup等信息丢失(osd,pool等状态均健康)。原有桶和数据无法访问,经过一些列fix后修复, 记录过程。原创 2024-06-06 23:34:15 · 422 阅读 · 0 评论 -
ceph纠删码精简配置ec4+2:1与ec4+2的切换
近期遇到项目,由于灵活配置,前期只有部分机器,后续扩容,想用ec4+2的纠删码,但前期只有3台机器,需要做精简ec。原创 2024-05-13 17:14:30 · 571 阅读 · 0 评论 -
ceph osd相关
本文主要介绍ceph osd相关的一些概念。原创 2024-05-05 16:46:58 · 404 阅读 · 0 评论 -
ceph mds 文件系统的挂载方式
近期测试发现,部分版本和服务器使用ceph mds内核态挂载时,性能较差,可能和存储和系统版本有关,用户态性能反而更稳定,这里补充两种挂载方式。原创 2024-04-22 02:57:20 · 454 阅读 · 0 评论 -
自建ceph存储集群方案之从零到一
依据笔者多年实际toB、toC、toG累积近百P规模级别项目的实际经验,本文尽可能详细描述如何零开始完成自建自己的大规模存储集群原创 2024-04-07 21:07:29 · 468 阅读 · 0 评论 -
cephadm日志相关
cephadm下的log查看原创 2024-04-07 06:57:24 · 240 阅读 · 0 评论 -
对象存储分段残留导致空间占用问题
在使用对象存储时,为了方便大文件上传和提高上传效率、并发等等,经常会使用s3 multipart upload,也就是分段上传。我们知道分段上传一般分三个不分,init、upload part和complete。根据gc池原理,当在upload part调用abort multipart接口,取消分段上传,已经上传的分段会进入gc,慢慢回收释放空间。由于index-pool的异步结构,以及在分段上传过程中发生异常中断,都可能会导致分段对象残留在rados pool层中,从而占用很大空间。原创 2024-04-01 16:20:37 · 242 阅读 · 0 评论 -
ceph dashboard配置rgw监控(解决报错No RGW credentials found)
本文主要介绍一下如何是dashboard监控对象存储集群数据。原创 2024-03-30 17:01:39 · 269 阅读 · 0 评论 -
关于pg恢复优先级的一些idea(记一次数据恢复)
本文关于pg恢复场景下的一些想法、需求和可能得优化方向。原创 2024-03-27 00:11:02 · 815 阅读 · 0 评论 -
ceph rbd_default_features
快照写时复制和克隆支持。原创 2024-03-21 19:56:02 · 305 阅读 · 0 评论 -
crushmap与osd tree
本文主要介绍crushmap相关概念,以及调整crush的几种不同方法。crush为ceph的核心之一,理解其中逻辑对pg规划,容量均衡,故障处理等非常有帮助。原创 2024-03-20 18:43:28 · 473 阅读 · 0 评论 -
对象存储部分元数据介绍
对象存储metadata原创 2024-03-09 16:58:03 · 717 阅读 · 0 评论 -
S3对象存储服务映射为本地磁盘使用(windows篇)
对象存储服务目前主流方式是通过aws sdk和restapi,以及预签名url等进行访问,也有使用s3cmd,s3browser等开源客户端进行访问。这些访问方式不仅支持数据的访问下载,同时也支持acl,policy,lifecycle,以及cors等配置管理。在部分应用和业务场景下,需要将S3服务作为类文件系统接口,映射到本地使用。目前linux下使用较多的是s3fs,该工具可直接将s3bucket挂载为本地文件系统(而本文主要演示如何windows下将s3bucket映射为本地磁盘。原创 2024-03-04 17:44:31 · 2083 阅读 · 0 评论 -
记一次老版本incomplete pg处理过程
记一次老版本pg incomplete无法恢复的处理过程原创 2023-10-08 01:18:29 · 123 阅读 · 0 评论 -
使用集群中唯一一个MON恢复集群ceph-mon服务(记一次故障恢复)
ceph恢复mon服务原创 2023-03-24 21:47:16 · 538 阅读 · 0 评论 -
OSD过载(失效)测试-reweight
ceph osd reweight(过载测试)原创 2022-06-13 23:39:01 · 746 阅读 · 0 评论 -
记一次数据恢复过程中,踩到osd由于快照数据不完整导致无法启动的bug
ceph osd反复启动,恢复过程中报错FAILED assert(clone_size.count(clone))原创 2022-05-31 20:02:58 · 325 阅读 · 0 评论 -
ceph从入门到放弃
概述 总结一个ceph从入门到放弃的过程,后续补充文章丰富各个模块,想学习的旁友也可以参考看看。初级了解目前进度与掌握程度当前已经完成的操作接触过但不知道作用很少接触ceph集群搭建功能组件的了解设计思想ceph的特性ceph组件深入核心CRUSH原理(crush自定义,obj,pg,osd,pool逻辑关系)存储类型之cephfs文件系统存储类型之RBD存储类型之RGW中级bluestore与filestorebluestore的意义与优越性slow原创 2020-12-07 10:43:26 · 333 阅读 · 0 评论 -
Ceph高版本对象存储服务修改参数导致无法写入
概述 对象存储服务中,有整体上传和分段上传,当应用对象大小小于分块大小时则用户上传的对象只对应一个RADOS对象,该对象以应用对象名命名,应用对象元数据也保存在该 rados对象的扩展属性中。 当应用对象大于分块上传时,如下图: 应用对象被分解成一个大小等于分块大小的首对象,多个大小等于条带大小的中间对象,和一个大小小于等于条带大小的尾对象。首对象以应用对象名称命名,在 RGW 中将该对象称为head_obj,该对象的数据部分保存了应用对象前 rgw_max_chunk_size 字节的数据,原创 2020-12-02 09:56:30 · 525 阅读 · 0 评论 -
ceph pg相关运维脚本工具(一)
概述 在生产环境中,经常需要对ceph集群进行一些调优,维护,设备替换等操作,为了简化和方便操作,陆续写过一些简单的小脚本工具,现整理出来。共同PG检测工具使用场景 在一个双副本环境中,已经有部分osd离线(down and in)的状态,此时集群部分pg处于单副本状态,此时有另外一些osd设备(硬盘原因,机器原因)需要替换或者离线,预估受影响的pg;或者想查询出某些osd共同承载了...原创 2019-11-05 22:12:28 · 732 阅读 · 0 评论 -
解决在ceph对象网关中使用s3fs报错“unable to access MOUNTPOINT /s3: Transport endpoint is not connected”
s3fs简介 简要来说,就是将s3的存储桶,文件,文件列表可以通过挂载到本地形成一个本地文件系统,方便浏览和查看目录结构,由于ceph rgw服务兼AWS S3,所以通过s3fs工具我们也能够将ceph radosgw集群的文件导出成本地文件系统。环境 原ceph环境搭建在ubuntu16.04,ceph版本为L版本。安装 可以直接通过apt-get install (如果没有...原创 2019-11-04 21:09:00 · 3481 阅读 · 6 评论