“网红架构师”解决你的Ceph 运维难题

最新推荐文章于 2024-04-18 20:00:42 发布
最新推荐文章于 2024-04-18 20:00:42 发布
阅读量259 收藏
点赞数
文章标签： Java jvm spring 架构师 程序员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javaQQ561487941/article/details/83060975
版权

Q1. 环境预准备

绝大多数MON创建的失败都是由于防火墙没有关导致的，亦或是SeLinux没关闭导致的。一定一定一定要关闭每个每个每个节点的防火墙(执行一次就好，没安装报错就忽视)：

CentOS

sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
setenforce 0
systemctl stop firewalld 
systemctl disable firewalld
# iptables -F
service iptables stop

Q2. 清理环境

MON部署不上的第二大问题就是在旧的节点部署MON，或者在这个节点部署MON失败了，然后重新new再mon create-initial，请查看要部署MON的节点上的/var/lib/ceph/mon/目录下是否为空，如果不为空，说明已经在这个目录部署过MON，再次部署会检测子目录下的done文件，由于有了这个文件，就不会再建立新的MON数据库，并且不会覆盖之，导致了部署时的各种异常，这里就不赘述了，直接给出万能清理大法：

对于任何需要新部署MON的节点，请到这个节点下执行如下指令，确保环境已经清理干净：

ps aux|grep ceph |awk '{print $2}'|xargs kill -9
ps -ef|grep ceph
#确保此时所有ceph进程都已经关闭！！！如果没有关闭，多执行几次。
rm -rf /var/lib/ceph/mon/*
rm -rf /var/lib/ceph/bootstrap-mds/*
rm -rf /var/lib/ceph/bootstrap-osd/*
rm -rf /var/lib/ceph/bootstrap-rgw/*
rm -rf /etc/ceph/*
rm -rf /var/run/ceph/*

请直接复制粘贴，遇到过好些个自己打错打漏删了目录的。

Q3. 部署前最后的确认

这里介绍的都是个案，不过还是需要提一下：

  • 确保每个节点的hostname都设置正确，并且添加至/etc/hosts文件中，然后同步到所有节点下。克隆出来的虚拟机或者批量建的虚拟机有可能发生此情形。
  • 确保以下目录在各个节点都存在：
  • /var/lib/ceph/
  • /var/lib/ceph/mon/
  • /var/lib/ceph/osd/
  • /etc/ceph/
  • /var/run/ceph/
  • 上面的目录，如果Ceph版本大于等于jewel,请确认权限均为ceph:ceph，如果是root:root，请自行chown。

Q4. 安装Ceph

官网指导方法是使用ceph-deploy install nodeX,但是因为是国外的源，速度慢得令人发指，所以我们换到阿里的源，并且使用yum install的方式安装，没差啦其实，这样反而还快点，毕竟多个节点一起装。

很多安装失败的都是因为没有添加epel源请在每个存储节点都执行以下指令，来安装Ceph:

yum clean all
rm -rf /etc/yum.repos.d/*.repo
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo
echo "
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-hammer/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-hammer/el7/noarch/
gpgcheck=0
" > /etc/yum.repos.d/ceph.repo
yum install ceph ceph-radosgw -y

这里是安装的hammer版本的Ceph，如果需要安装jewel版本的，请执行：

sed -i 's/hammer/jewel/' /etc/yum.repos.d/ceph.repo
yum install ceph ceph-radosgw -y

如果安装了jewel版本的Ceph，想要换回hammer版本的Ceph，可以执行下面的指令：

卸载Ceph客户端

rpm -qa |grep `ceph -v |awk '{print $3}'` |xargs rpm -e --nodeps

更改ceph.repo里面的Ceph版本

sed -i 's/jewel/hammer/' /etc/yum.repos.d/ceph.repo
yum install ceph ceph-radosgw -y

Q5. ceph-deploy

这里我要开启话唠模式：

① Ceph-deploy 是什么？

Ceph-deploy是Ceph官方给出的用于部署Ceph的一个工具，这个工具几乎全部是Python写的脚本，其代码位于/usr/lib/python2.7/site-packages/ceph_deploy目录下(1.5.36版本)。最主要的功能就是用几个简单的指令部署好一个集群，而不是手动部署操碎了心，敲错一个地方就可能失败。所以对于新人来说，或者说以我的经验，接触Ceph少于一个月的，又或者说，集群规模不上PB的，都没有必要手动部署，Ceph-deploy完全足够了。

② Ceph-deploy怎么装?

这个包在ceph的源里面：

yum install ceph-deploy -y

③Ceph-deploy装在哪？

既然Ceph-deploy只是个部署Ceph的脚本工具而已，那么这个工具随便装在哪个节点都可以，并不需要单独为了装这个工具再搞个节点，我一般习惯放在第一个节点，以后好找部署目录。

④Ceph-deploy怎么用？

详细的指令暂时不介绍，下面会有，在安装好后，需要在这个节点新建一个目录，用作部署目录，这里是强烈建议建一个单独的目录的，比如我习惯在集群的第一个节点下建一个/root/cluster目录，为了以后好找。Ceph-deploy的所有的指令都需要在这个目录下执行。包括new,mon,osd等等一切ceph-deploy的指令都需要在这个部署目录下执行！最后一遍，所有的ceph-deploy的指令都要在部署目录下执行！否则就会报下面的错：

[ceph_deploy][ERROR ] ConfigError: Cannot load config: [Errno 2] No such file or directory: 'ceph.conf'; has ceph-deploy new been run in this directory?

⑤ Ceph-deploy怎么部署集群?

我们暂且把部署目录所在的节点叫做部署节点。Ceph-deploy通过SSH到各个节点，然后再在各个节点执行本机的Ceph指令来创建MON或者OSD等。所以在部署之前，你需要从部署节点ssh-copy-id到各个集群节点，使其可以免秘钥登陆。

⑥Ceph-deploy部署的日志在哪里?

就在部署目录下面的ceph-deploy-ceph.log文件，部署过程中产生的所有的日志都会保存在里面，比如你大半年前敲的创建OSD的指令。在哪个目录下执行ceph-deploy指令，就会在这个目录下生成log，如果你跑到别的目录下执行，就会在执行目录里生成log再记下第四点的错。当然，这个LOG最有用的地方还是里面记录的部署指令，你可以通过cat ceph-deploy-ceph.log |grep "Running command"查看到创建一个集群所需的所有指令，这对你手动建立集群或者创建秘钥等等等等有着很大的帮助！！！

⑦ Ceph-deploy版本

写这段时的最新的版本号为1.5.36，下载链接为ceph-deploy-1.5.36-0.noarch.rpm， 之前的1.5.35里面有点bug在这个版本被修复了，如果使用1.5.25部署遇到了问题，可以更新至这个版本，会绕过一些坑。更新到1.5.36之后，腰也不酸了,退了不疼了，Ceph也能部署上了。

Q6. ceph-deploy new 做了什么

进入部署目录，执行ceph-deploy new node1 node2 node3，会生成两个文件（第三个是ceph-deploy-ceph.log，忽视之）:

[root@blog cluster]# ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring

new后面跟的是你即将部署MON的节点的hostname，推荐三个就够了，需要是奇数个MON节点。不要因为只有两个节点就搞两个MON，两个节点请用一个MON，因为两个MON挂掉一个，集群也就挂了，和一个MON挂掉一个效果是一样的。生成的ceph.conf默认情况下长成这样：

[root@blog cluster]# cat ceph.conf 
[global]
fsid = 13b5d863-75aa-479d-84ba-9e5edd881ec9
mon_initial_members = blog
mon_host = 1.2.3.4
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

会调用uuidgen生成一个fsid，用作集群的唯一ID，再将new后面的主机加入到mon_initial_members和mon_host里面，剩下的三行大家都是一样的，默认开启CephX认证。下面有一节会专门介绍这个，需要注意的是，部署的时候，千万不要动这三行 下面会有一节介绍之。还有一个文件ceph.mon.keyring：

[root@blog cluster]# cat ceph.mon.keyring 
[mon.]
key = AQB1yWRYAAAAABAAhMoAcadfCdy9VtAaY79+Sw==
caps mon = allow *

除了key的内容不一样，剩下的都会是一样的。因为是开启了CephX认证了，所以MON直接的通讯是需要一个秘钥的，key的内容就是秘钥。是不是对Ceph里面的明文认证感到吃惊，有总比没有强。如果，你再次执行new，会生成新的ceph.conf和新的ceph.mon.keyring，并将之前的这两个文件给覆盖掉，新旧文件唯一不同的就是fsid和key的内容，但是对Ceph来说，这就是两个集群了。这里说一下我个人非常非常非常反感的一个问题，有的朋友喜欢在/etc/ceph/目录下面执行ceph-deploy的命令，这么做和在部署目录下面做一般是没有差别的，因为这两个目录下面都有ceph.conf和ceph.client.admin.keyring，但是我还是强烈推荐创建独立的部署目录，因为/etc/ceph目录是Ceph节点的运行目录，为了体现各自的功能性，也为了安全性，请不要在**/etc/ceph**目录下部署集群！！！

Q7. 为ceph-deploy添加参数

Ceph-deploy的log还是很有看头的，查看ceph-deploy new blog(blog是我的一台主机)的log：

[root@blog cluster]# ceph-deploy new blog
[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
[ceph_deploy.cli][INFO ] Invoked (1.5.36): /usr/bin/ceph-deploy new blog
[ceph_deploy.cli][INFO ] ceph-deploy options:
[ceph_deploy.cli][INFO ] username : None
[ceph_deploy.cli][INFO ] func : <function new at 0x288e2a8>
[ceph_deploy.cli][INFO ] verbose : False
[ceph_deploy.cli][INFO ] overwrite_conf : False
[ceph_deploy.cli][INFO ] quiet : False
[ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x28eccf8>
[ceph_deploy.cli][INFO ] cluster : ceph
[ceph_deploy.cli][INFO ] ssh_copykey : True
[ceph_deploy.cli][INFO ] mon : ['blog']
[ceph_deploy.cli][INFO ] public_network : None
[ceph_deploy.cli][INFO ] ceph_conf : None
[ceph_deploy.cli][INFO ] cluster_network : None
[ceph_deploy.cli][INFO ] default_release : False
[ceph_deploy.cli][INFO ] fsid : None
[ceph_deploy.new][DEBUG ] Creating new cluster named ceph

可以看到有很多的参数被列出来了，比如：mon : ['blog']，也有很多参数是False或者None， 这些参数能否被设置呢? 因为这里我们可以看到有fsid : None 这个参数，难道集群的fsid可以被指定吗？抱着这些疑惑，我就去看完了ceph-deploy的所有代码，答案是：可以设置。所有上面的参数都可以使用参数的形式进行设置，只需要在前面加上两个--，比如对于fsid可以执行：

ceph-deploy new blog --fsid xx-xx-xx-xxxx

如果想要查看每个执行可指定的参数，可以-h：

[root@blog cluster]# ceph-deploy new -h
usage: ceph-deploy new [-h] [--no-ssh-copykey] [--fsid FSID]
 [--cluster-network CLUSTER_NETWORK]
 [--public-network PUBLIC_NETWORK]
 MON [MON ...]
...
optional arguments:
 -h, --help show this help message and exit
 --no-ssh-copykey do not attempt to copy SSH keys
 --fsid FSID provide an alternate FSID for ceph.conf generation
 --cluster-network CLUSTER_NETWORK
 specify the (internal) cluster network
 --public-network PUBLIC_NETWORK
 specify the public network for a cluster

这里就可以看到可以指定--cluster-network，--public-network，等等，如果optional arguments里面没有介绍这个参数，可以直接使用--xxarg的方式指定，比如--overwrite-conf，--verbose等等，能不能设置这些参数，自己动手试一下就知道了。需要注意的是，参数的位置根据指令而异，比如--overwrite-conf参数是跟在ceph-deploy后面的，而--public-network是跟在new后面的：

ceph-deploy --overwrite-conf --verbose new blog --fsid a-a-a-a
[root@blog cluster]# cat ceph.conf |grep fsid
fsid = a-a-a-a

Q8. Public VS Cluster

如果非要在刚刚生成的ceph.conf里面添加什么的话，那么可能就要加public_network或者cluster_network了。那么这两个配置项有什么用呢？这里简单得介绍下Ceph的Public(外网或者叫公网或者前端网)和Cluster(内网或者叫集群网或者叫后端网)这两个网络，在Ceph中，存在以下三种主要的网络通讯关系：

  • client-> mon =>public : 也就是客户端获取集群状态，或者叫客户端与MON通讯走的网络，是走的外网。
  • client-> osd => public : 也就是客户端向OSD直接写入数据走的也是外网。
  • osd<-> osd => cluster ：也就是OSD之间的数据克隆，恢复走的是内网，客户端写第一份数据时通过外网写，对于三副本剩下的两个副本OSD之间通过内网完成数据复制。当OSD挂掉之后产生的recover,走的也是内网。

通常，我们会将外网配置为千兆网，而内网配置成万兆网，这是有一定原因的：

  • 客户端可能由成百上千的计算节点组成，外网配成万兆成本太高。
  • 存储节点一般只有几个到几十个节点，配置了万兆内网可以大大加快故障恢复速度，而且剩余的两副本写速度会大大加快，万兆网的性价比极高。举个例子，集群坏掉一个OSD千兆需要一小时，那么万兆网只需要五六分钟，一定程度上增加了集群的安全性。

借用官网的这张图来说明集群的网络走势：再假设你的节点有两个网段172.23.0.1和3.3.4.1，还记得我们上一节ceph-deploy new的时候是可以指定public_network和cluster_network的吗！如果不指定这两个参数，那么ceph-deploy怎么知道用哪个IP作为这个节点的mon_host的IP呢，其实他是随便选的，如果它选了172网段但是你想使用3.3网段作为这个节点的mon_host的IP，那么只需要指定--public-network 172.23.0.0/24 就可以了，其中的/24就相当于一个掩码，表示前面的IP的前24位，也就是172.23.0.XXX，只要你的主机上有一个处于这个范围内的IP，那么就会选择这个IP作为公网IP。类似的，/16表示范围：172.23.XXX.XXX。 如果想指定内网IP，那么只要指定--cluster-network 3.3.4.1/24就可以了。

一般情况下，会在new生成的ceph.conf文件里加入public_network配置项以指定公网IP。当然你的MON主机上需要有至少一个IP在公网范围内。除了在生成的ceph.conf文件中加入公网IP的方式，我们还可以使用参数的方式来指定公网IP：

[root@ceph-1 cluster]# ceph-deploy new ceph-1 --public-network 172.23.0.0/24
[ceph_deploy.cli][INFO ] Invoked (1.5.36): /usr/bin/ceph-deploy new ceph-1 --public-network 172.23.0.0/24
[ceph_deploy.cli][INFO ] ceph-deploy options:
...
[ceph_deploy.cli][INFO ] public_network : 172.23.0.0/24
...
[ceph-1][DEBUG ] IP addresses found: [u'172.23.0.101', u'10.0.2.15']
[ceph_deploy.new][DEBUG ] Resolving host ceph-1
[ceph_deploy.new][DEBUG ] Monitor ceph-1 at 172.23.0.101
[ceph_deploy.new][DEBUG ] Monitor initial members are ['ceph-1']
[ceph_deploy.new][DEBUG ] Monitor addrs are [u'172.23.0.101']
[ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring...
[ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf...
[root@ceph-1 cluster]# cat ceph.conf 
[global]
fsid = d2a2bccc-b215-4f3e-922b-cf6019068e76
public_network = 172.23.0.0/24
mon_initial_members = ceph-1
mon_host = 172.23.0.101
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

查看部署log可以发现参数配置已经生效，而这个节点有两个IP，public_nwtwork这个参数限定了公网IP的搜索范围，生成的ceph.conf文件内也包含了public_network这个参数。

Q9. 参数是下划线还是空格分隔

这里只是简单的提一下这个小困惑，对于以下的两个参数书写方式，哪种会有问题呢：

public_network = 172.23.0.1/24
public network = 172.23.0.1/24
osd_journal_size = 128
osd journal size = 128

这两种参数的书写方式其实都是正确的，说到底是因为底层调用的是Python的argparse模块。这两种方式都是等效的，所以不需要担心。

Q10. ceph-deploy mon create-initial如何一次性通过

这一步坑哭了多少迫切加入Ceph世界的新人，看到的最多的就是5s，10s，10s, 15s，20s。。。然后报了错。再执行，再报错。所以这里给出以下的预检清单，如果被报错失败所烦恼，请认真执行各个子项，尤其是失败后要执行清理环境：

  1. 请确保所有节点都安装了Ceph。
  2. 请确保所有节点的防火墙等都关闭了。参考环境预准备一节
  3. 请前往各个MON节点清理干净，不论你是否相信这个节点是干净的。参考清理环境一节。
  4. 请确保各个MON节点下存在以下目录，并且对于Jewel版本及之后的请确保目录权限为ceph:ceph。参考部署前最后的确认一节。
  5. 请在ceph-deploy new生成的ceph.conf内添加public_network配置项，参考Public VS Cluster一节。

这些总结来之不易，我帮过上百个人解决过部署问题和集群故障。我相信在认真确认过之后是肯定可以通过的(反正前三点如果有问题一般是不会建好MON的，为什么不认真确认下呢)，我遇到过绝大多数都是因为防火墙没关，或者手动删除了一些目录，或者没有修改权限导致的问题。

相对来说，新环境只要关了防火墙就可以一次性通过，旧环境或者失败的环境只要清理环境就可以通过了。

Q11. mon create-initial 做了什么

简单介绍下流程：

  • ceph-deploy读取配置文件中的
mon_initial_members
  • 的各个主机，然后依次SSH前往各个主机：
  1. 将部署目录下的ceph.conf推送到新节点的/etc/ceph/目录下。
  2. 创建/var/lib/ceph/mon/$cluster-$hostname/目录。
  3. 检查MON目录下是否有done文件，如果有则直接跳到第6步。
  4. 将ceph.mon.keyring拷贝到新节点，并利用该秘钥在MON目录下建立MON数据库。
  5. 在MON目录下建立done文件，防止重新建立MON。
  6. 启动MON进程。
  7. 查看/var/run/ceph/$cluster-mon.$hostname.asokSOCKET文件，这个是由MON进程启动后生成的，输出MON状态。
  • 在所有的MON都建立好后，再次前往各个主机，查看所有主机是否运行并且到达法定人群(quorum)。如果有没到到的，直接结束报错。如果都到达了，执行下一步。
  • 调用
auth get-or-create
  • 方法创建(如果不存在)或者拉取(已经存在)MON节点上的以下几个keyring到
  • 部署目录
  • 中：
  • ceph.bootstrap-mds.keyring
  • ceph.bootstrap-osd.keyring
  • ceph.bootstrap-rgw.keyring
  • ceph.client.admin.keyring
  • 指令结束。

Q12. mon create-initial 为什么会失败

我不喜欢讲怎么做，我愿意花很大的篇幅介绍为什么会造成各种各样的问题，如果知道了原因，你自然知道该怎么做，所以才会理解Ceph，而不是机械的去敲指令。

综合上面的所有小节，我来总结下这一步失败的基本上所有可能的原因：

  • 所谓MON的quorum，相当于多个MON形成的一个群体，它们之间需要通过网络发送数据包来通讯达成某种协议，如果打开了防火墙，会阻断数据交流。所以不能构成群体，一直等待(5s->10s->10s->15s->20s)其他MON的数据包，既然被阻断了这样的等待是没有意义的，等了30s还没有正常，就可以直接ctrl+z去检查了。
  • 我在配置文件里面添加了pubilc_network，但是有个主机的所有IP都不在公网IP段内，那么这个MON是建不好的，因为没有IP用作MON使用，public_network相当于一个过滤器。
  • 搭好了一台虚拟机后，直接克隆了两台，没有修改主机名，导致socket文件路径名识别错误，报了异常，不过这很少发生。
  • 如果在旧的MON节点上再次部署新的MON，再又没有清理环境，之前的MON数据库会保留着done文件，MON数据库里面还是记录着之前fsid，keyring等等，和新集群是两套完全不同的，所以这个节点的MON自然到达不了MON群体。
  • 即使你单单删除了/var/lib/ceph/mon下的东西，而没有清理那些keyring，也有可能会因为收集了旧集群的秘钥而发生稀奇古怪的问题。
  • 对于Jewel，你一不小心删除了/var/lib/ceph/mon目录，或者其他的OSD目录或者/var/run/ceph目录，然后又重建了目录，依然部署不上，是因为Jewel的所有Ceph指定都是运行在ceph:ceph用户下的，自然不能在root权限目录下建立任何文件，修改权限即可。
  • Ceph生成MON数据库是依照主机的hostname来命名至目录/var/lib/ceph/mon/${cluster}-${hostname}的，而检测SOCKET文件则是用ceph.conf里面的mon_initial_members里面的名字来检测的 ，如果mon_initial_members里面的名字和真是的主机名不一致，就会报错。

​ 一旦你运行了ceph-deploy mon create-initial指令，并且失败了，有极大的可能性已经在某些节点建立好了MON的数据库，再次执行可能会因为旧的环境导致再次失败，所以如果失败了，执行一下第二节中的清理环境即可。清理完毕后，再执行ceph-deploy mon create-initial。

欢迎工作一到八年的Java工程师朋友们加入Java高级交流群：854630135

本群提供免费的学习指导 架构资料 以及免费的解答

不懂得问题都可以在本群提出来 之后还会有直播平台和讲师直接交流噢

哦对了，喜欢就别忘了关注一下哦~

javaQQ群 866865133
关注
ceph问题汇总
zorsea的博客
12-11 2370
一、ERROR: osd init failed: (36) File name too long 出现上述问题的一种原因是：挂在目录的文件系统类型是ext4，解决办法有两种 1）修改/etc/ceph/ceph.conf文件，在文件中添加如下配置 osd max object name len = 256 osd max object namespace len = 64 2）将文件...
Ceph常见问题处理（octopus 15.2.13）
记强的博客
06-13 1722
Ceph octopus 15.2.13 常见问题处理
Ceph 问题集锦
GIS+=地理信息+云计算+大数据+容器+物联网+...
01-14 1791
ceph health
Ceph运维操作
任我行的博客
04-11 1349
Ceph会按照一定的规则，将已经out的OSD上的PG重映射到其它OSD，并且从现存的副本来回填（Backfilling）数据到新OSD。如果有多个CephFS，你可以为ceph-fuse指定命令行选项–client_mds_namespace，或者在客户端的ceph.conf中添加client_mds_namespace配置。启用cephx后，Cephe会自动在包括/etc/ceph/ceph.$name.keyring在内的位置寻找钥匙串，你可以指定keyring选项来修改默认路径，但是不推荐。
ceph运维手册.docx
09-23
ceph 运维手册 ceb运维手册是 Ceph 集群的运维指南，涵盖了 Ceph 集群的监控、维护和配置等方面的知识。本手册从 Ceph 集群的基本概念开始，逐步深入到集群的监控、pg 监控、OSD 监控、MON 监控和基本操作等方面。 ...
Ceph运维学习详解
weixin_43507410的博客
07-29 463
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，作为主流的分布式存储技术之一，ceph越来越成为运维工程师技能树的必备要件。 今天分享的ceph运维手册可谓含金量十足，汇总了Ceph 在使用中常见的运维和操作问题，主要用于指导运维人员的相关工作。存储方面的新手，在对Ceph 有了基础了解之后，也可以通过本手册进一步深入Ceph 的使用和运维。 【领取方式戳这里】 目录详情： 资料整理自网络 部分文档内容介绍 ▼ 第一部分：Ceph常用操作 本部分介绍了 Ceph 集群
⑤ K8s使用Ceph作为存储、监控、日常运维管理_ceph运维管理平台
最新发布
2401_83974660的博客
04-18 769
1、创建pod时，kubelet需要使用rbd命令去检测和挂载pv对应的ceph image，所以要在所有的worker节点安装ceph客户端ceph-common。将ceph的ceph.client.admin.keyring和ceph.conf文件拷贝到master的/etc/ceph目录下。#3、创建k8s访问ceph的用户 在ceph的mon或者admin节点。#4、查看key 在ceph的mon或者admin节点和kube用户。#5、创建 admin secret(使用admin的key)
Ceph运维手册！免费下载
weixin_43507410的博客
07-19 257
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，作为主流的分布式存储技术之一，ceph越来越成为运维工程师技能树的必备要件。 今天分享的ceph运维手册可谓含金量十足，汇总了Ceph在使用中常见的运维和操作问题，主要用于指导运维人员的相关工作。存储方面的新手，在对Ceph有了基础了解之后，也可以通过本手册进一步深入Ceph 的使用和运维。 【领取方式戳这里】 由于内容过多，在此只以截图展示部分内容，详细完整版的文档免费领取方式请见文末。 目录详情： 资料整理自网络
Ceph基础运维手册.doc
12-29
Ceph基础运维手册 查看当前集群状态 ceph -s 在出现异常时，可通过以下命令查看详细异常信息 ceph health detail 2、查看当前空间利用率 ceph df detail 3、Monitor down掉后对集群影响 等等
ceph心跳丢失问题分析
06-12
最近测试了ceph集群承载vm上限的实验，以及在极端压力下的表现，发现在极端大压力下，ceph集群出现osd心跳丢失,osd mark成down, pg从而运行在degrade的状态。分析了根本原因，总结成ppt分享。
ceph基础运维
11-07
ceph 环境搭建，基础运维及常见问题
ceph常用维护操作文档
03-25
Ceph运维实践,监控及日志管理 Ceph的原理 Ceph常见异常与解决 Ceph压力测试,性能分析和优化
ceph常见运维指令
09-19
这些ceph指令在ceph的日常运维中经常用到，包括mon、mds、osd、pool、rbd等详细的使用方法
ceph维护
weixin_30635053的博客
01-27 167
一个节点挂了，重新添加硬盘并格式化成xfs文件系统挂载到原来的位置后ceph osd无法启动。使用ceph osd tree查看处于down状态。A：移除掉这个osd,1:ceph osd out osd.32:ceph osd crush remove osd.33:ceph auth del osd.34:ceph osd rm osd.3到ceph-deploy节点使用命令 ceph-dep...
ceph运维
weixin_43757555的博客
07-08 1056
osd的扩容和换盘 横向扩容（扩容节点） 扩展mds： 需要将扩容的节点上安装ceph所需要的包，然后将节点加入到集群中，在新节点安装ceph,ceph版本必须与原集群版本一致 yum -y install ceph rpm -qa | egrep -i “ceph|rados|rbd” ceph -v 管理节点复制配置文件和密钥到新增节点 [root@node143 ceph]# ls ceph.client.admin.keyring ceph.conf [root@ceph1 ceph]#ce
ceph常用报错解决
abc
04-11 896
1 monitors have not enabled msgr2 解决方法 ： ceph mon enable-msgr2 5 pool(s) have no replicas csnfigured 解决方法 ： ceph config get global mon_warn_on_pool_no_redundancy false systemctl restart ceph-mgr.target 1 daemons have recently crashed 解决方法 ： ceph crash a
ceph存储 性能测试常见问题
skdkjxy的专栏
09-12 2105
目录 名词解释 性能测试FAQ 1. 性能测试的基本过程是什么？ 2. 如何准备测试环境？ 3. 准备环境时，由于条件限制，机器系统硬件环境可能不同，机器硬件的cpu主频，单双核，硬盘转速等对性能测试的影响情况如何，在准备测试中哪些因素可以较少考虑或者忽略？ 4. 我们的机器本身会启很多自动服务，其对性能的影响如何？ 5. 测试过程中应该收集哪些数据？应该怎么获得？ 6. 是否打开...
Ceph入门到精通-CEPH故障以其处理方法
隔壁老瓦的专栏
09-13 2171
MDS服务器将元数据以segments(object)方式存放，当MDS中的segments数量超出mds_log_max_segments的设置值（默认为128）时，MDS服务开始启动Trimming，即将segments数据进行回写。OSDs之间会相互测试（ping）访问速度，若两个OSDs之间的连接延迟高于1s，则表示OSDs之间的延迟太高，不利于CEPH集群的数据存储和访问。当MDS使用的缓存过高，比设定的阈值高很多时，则有此警告信息。当有mds服务crash的时候，候选的mds则补上。
Ceph运维指南：监控与状态检查
本文将介绍Ceph系统中常用的运维指令，帮助你掌握在管理Ceph集群时的基本操作。Ceph是一个开源的分布式存储系统，广泛应用于数据存储和备份，提供高可用性和可扩展性。它主要由监控器（Mon）、元数据服务器（MDS）、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值