lyf0327的博客

问题：ceph集群osd变为down的状态，并且重启osd也一直失败。分析：[root@shnode183 ~]# systemctl status ceph-osd@14● ceph-osd@14.service - Ceph object storage daemon osd.14 Loaded: loaded (/usr/lib/systemd/system/ceph-osd@.service; enabled-runtime; vendor preset: disabled) Ac

问题：ceph集群突然mds全都无法启动，查询日志报错mds unable to obtain rotating service keys; retrying。分析：节点时间不一致，ceph不但要求系统时间一致，还要求bios时间一致。解决：系统时间ntpdate调一致，然而并没有解决问题，还需要下一步各节点hwclock -w把BIOS时间刷新。ceph竟然也依赖BIOS时间，也真是醉...

用于快速统计cephfs目录下存放的数据量：命令格式：getfattr -d –m ceph.dir.* -m表示匹配模式使用了getfattr命令，来获取文件系统给出的扩展属性例：getfattr -d -m ceph.dir.* /mnt/cephfsgetfattr -d -m ceph.dir.* /mnt/cephfs/dir1#cd /mnt/cephfs/dir1...

**问题：**未知原因，有可能是服务器搬离机柜造成的。也有可能是osd crash出错，数据丢失，cephfs无法提供服务，经查，是没有active的mds了，所有的mds都是standby状态，并且有两个是dmaged的状态。[root@node83 .ceph-cluster]# ceph health detailHEALTH_ERR 2 filesystems are degraded...

问题1：3 monitors have not enabled msgr2 解决：#ceph mon enable-msgr2

问题：ceph rdma协议的集群总是报daemons have recently crashed，而且数目越来越多，然并没有找到相关错误的日志解决：可参考官网解决方案RECENT_CRASHOne or more Ceph daemons has crashed recently, and the crash has not yet been archived (acknowledged)...

需求：为提升ceph性能，采用infiniband 网卡 rdma协议，ceph-deploy安装方式是不支持rdma协议的，故只能采用源码安装，把rdma参数编译进去。环境准备IPhostIOS192.168.1.82host82centos7.7admin192.168.1.83host83centos7.7node192.168.1.84...

问题：ceph多 mds机制下，重启mds有个cephfs出现degraded的状态分析：在某些mds备用不够的情况下，这个问题也可能会出现，应该是集群存储压力过大，osd有pg出现stuck的情况，一旦mds重启，元数据无法恢复，自然新备用的mds会一直是rejoin的状态。解决：此次情况比较特殊，ceph health detail命令竟然看不到stuck的osd，解决如下：把 使用率...

问题：有可能节点内存被某进程耗尽，造成多fs的某个mds 损坏#ceph health detailHEALTH_ERR mds rank 0 is damaged; mds cluster is degradedmds.0 is damagedmds cluster is degraded解决：ceph fs status查看损坏的fsIntelligent_Innovation_L...

需求：机房停电，或者需要搬迁，需要所有ceph节点关机操作;关机：第一步：先在admin节点执行以下命令关闭集群流量 ceph osd set noout ceph osd set norecover ceph osd set norebalance ceph osd set nobackfill ceph osd set nodown ceph osd set pause...

aws自带的redhat yum 源缺很多库，安装有问题

1、$ ceph mgr module enable dashboard2、添加（也可以不添加，未测试）vim /etc/ceph/ceph.conf[mgr]mgr_modules = dashboard3、# ceph config-key put mgr/dashboard/server_addr 172.20.2.2434、# netstat -antpl | grep cep...

Ceph 安装参考文献：1、 https://blog.csdn.net/jfengamarsoft/article/details/776839302、 https://blog.csdn.net/zcc_heu/article/details/790176243、 Ceph 官方下载地址http://download.ceph.com/rpm-luminous/el7/x86_64/...

问题描述：[root@k8s-master-2 ~]# ceph fs statusError EINVAL: Traceback (most recent call last):File “/usr/lib64/ceph/mgr/status/module.py”, line 310, in handle_commandreturn self.handle_fs_status(cmd)...

[root@k8s-master-1 ceph-cluster]# cat ceph.conf[global]fsid = 380d4224-78e1-4d19-95c7-74c278712b0emon_initial_members = k8s-n2, k8s-m3, k8s-master-1, k8s-master-2, k8s-n1#mon_host = 109.105.1.208,...

转自https://ceph.com/planet/ceph-recover的速度控制/前言磁盘损坏对于一个大集群来说，可以说是必然发生的事情，即使再小的概率，磁盘量上去，总会坏那么几块盘，这个时候就会触发内部的修复过程，修复就是让不满足副本要求的PG，恢复到满足的情况一般是踢掉坏盘和增加新盘会触发这个修复过程，或者对磁盘的权重做了修改，也会触发这个迁移的过程，本篇是用剔除OSD的方式来对这...

sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/’ /etc/selinux/configsystemctl stop firewalldsystemctl disable firewalldexport http_proxy=http://...:8119export https_proxy=http://...:8119yum -y inst...

转自https://ceph.com/community/new-luminous-crush-device-classes/New in Luminous: CRUSH device classesThe flexibility of the CRUSH map in controlling data placement in Ceph is one of the system’s grea...

转自http://www.cnblogs.com/sisimi/p/7804138.htmlluminous版本的ceph新增了一个功能crush class，这个功能又可以称为磁盘智能分组。因为这个功能就是根据磁盘类型自动的进行属性的关联，然后进行分类。无需手动修改crushmap，极大的减少了人为的操作。以前的操作有多麻烦可以看看：ceph crushmapceph中的每个osd设备都可以...