ceph 维护系列（一）删除一个ceph 节点

已于 2023-04-19 10:23:06 修改
阅读量4.3k 收藏 19
点赞数 6
分类专栏： # ceph 文章标签： ceph
于 2021-06-16 09:59:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nasooo/article/details/117947537
版权

零 修订记录

序号修订内容修订时间
1新增2021/2/19

一 摘要

本文是基于（ceph 纵向扩容 nautilus版本）[https://www.cnblogs.com/weiwei2021/p/14381416.html]，对cephtest003.ceph.kxdigit.com 节点进行卸载。

二 环境信息

| 主机名 | 状态|IP |磁盘 |角色|
| ---- | ---- | ---- | ---- | ---- | ---- |—|
| cephtest001.ceph.kxdigit.com |已完成|10.3.176.10 | 系统盘：/dev/sda 数据盘：/dev/sdb /dev/sdc /dev/sdd |ceph-deploy,monitor,mgr,mds,osd|
| cephtest002.ceph.kxdigit.com |已完成 |10.3.176.16 | 系统盘：/dev/sda 数据盘：/dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf |monitor,mgr,mds,osd|
| cephtest003.ceph.kxdigit.com |已完成(待删除节点)|10.3.176.44 | 系统盘：/dev/sda 数据盘：/dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg |monitor,mgr,mds,osd|
| cephtest004.ceph.kxdigit.com |已完成|10.3.176.36 | 系统盘：/dev/sda 数据盘：/dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf(待纵向扩容) |monitor,mgr,mds,osd|

三 实施

(一)ceph 集群当前状态

3.1.1 集群健康状态

可见 cephtest003 上有 mon，mgr，osd 服务。

[cephadmin@cephtest001 ~]$ ceph -s
  cluster:
    id:     6cd05235-66dd-4929-b697-1562d308d5c3
    health: HEALTH_WARN
            1 pools have many more objects per pg than average

  services:
    mon: 4 daemons, quorum cephtest001,cephtest002,cephtest003,cephtest004 (age                                                                13d)
    mgr: cephtest001(active, since 7w), standbys: cephtest002, cephtest003, ceph                                                               test004
    osd: 19 osds: 19 up (since 11d), 19 in (since 11d)
    rgw: 1 daemon active (cephtest004)

  task status:

  data:
    pools:   8 pools, 400 pgs
    objects: 24.12k objects, 167 GiB
    usage:   522 GiB used, 70 TiB / 71 TiB avail
    pgs:     400 active+clean

  io:
    client:   77 KiB/s rd, 341 B/s wr, 85 op/s rd, 0 op/s wr

3.1.2 osd 状态

可见 cephtest003 上有osd.8\osd.9\osd.10\osd.11\osd.12\osd.13 共6块osd。

[cephadmin@cephtest001 cephcluster]$ ceph osd tree
ID CLASS WEIGHT   TYPE NAME            STATUS REWEIGHT PRI-AFF
-1       70.57448 root default
-3        3.26669     host cephtest001
 0   hdd  1.08890         osd.0            up  1.00000 1.00000
 1   hdd  1.08890         osd.1            up  1.00000 1.00000
 2   hdd  1.08890         osd.2            up  1.00000 1.00000
-5        5.45547     host cephtest002
 3   hdd  1.09109         osd.3            up  1.00000 1.00000
 4   hdd  1.09109         osd.4            up  1.00000 1.00000
 5   hdd  1.09109         osd.5            up  1.00000 1.00000
 6   hdd  1.09109         osd.6            up  1.00000 1.00000
 7   hdd  1.09109         osd.7            up  1.00000 1.00000
-7       43.66132     host cephtest003
 8   hdd  7.27689         osd.8            up  1.00000 1.00000
 9   hdd  7.27689         osd.9            up  1.00000 1.00000
10   hdd  7.27689         osd.10           up  1.00000 1.00000
11   hdd  7.27689         osd.11           up  1.00000 1.00000
12   hdd  7.27689         osd.12           up  1.00000 1.00000
13   hdd  7.27689         osd.13           up  1.00000 1.00000
-9       18.19099     host cephtest004
14   hdd  3.63820         osd.14           up  1.00000 1.00000
15   hdd  3.63820         osd.15           up  1.00000 1.00000
16   hdd  3.63820         osd.16           up  1.00000 1.00000
17   hdd  3.63820         osd.17           up  1.00000 1.00000
18   hdd  3.63820         osd.18           up  1.00000 1.00000
[cephadmin@cephtest001 cephcluster]$

(二)方法一 移除cephtest003节点上所有osd（cephtest003 机器上操作）

逐个删除该节点上所有osd，先把数据迁移走，然后再删除。
###3.2.1 调整osd的crush weight（osd.8 为例）
cephadmin 用户登录cephtest003 ，

[cephadmin@cephtest003 ~]$ ceph osd crush reweight osd.8 0.1
reweighted item id 8 name 'osd.8' to 0.1 in crush map

执行了之后，把osd.8 里 数据迁移出来较慢，并且还会迁移到该节点cephtest003 其他机器上。
现在改为另一种方法 移除cephtest003

(三)方法二 移除cephtest003节点上所有osd（cephtest003 机器上操作）

该方法 直接关闭节点osd 服务，直接删除各个osd。

3.3.1 停掉cephtest003 osd 服务

先看下当前节点osd 服务。

[cephadmin@cephtest003 ~]$ systemctl status ceph-osd.target
● ceph-osd.target - ceph target allowing to start/stop all ceph-osd@.service instances at once
   Loaded: loaded (/usr/lib/systemd/system/ceph-osd.target; enabled; vendor preset: enabled)
   Active: active since Thu 2020-12-31 09:09:07 CST; 1 months 19 days ago
[cephadmin@cephtest003 ~]$ ps -ef | grep osd
ceph       20806       1  0  2020 ?        03:43:45 /usr/bin/ceph-osd -f --cluster ceph --id 8 --setuser ceph --setgroup ceph
ceph       20809       1  0  2020 ?        04:00:41 /usr/bin/ceph-osd -f --cluster ceph --id 12 --setuser ceph --setgroup ceph
ceph       20816       1  0  2020 ?        03:45:35 /usr/bin/ceph-osd -f --cluster ceph --id 9 --setuser ceph --setgroup ceph
ceph       20819       1  0  2020 ?        04:04:24 /usr/bin/ceph-osd -f --cluster ceph --id 13 --setuser ceph --setgroup ceph
ceph       20821       1  0  2020 ?        03:28:47 /usr/bin/ceph-osd -f --cluster ceph --id 10 --setuser ceph --setgroup ceph
ceph       20824       1  0  2020 ?        05:05:17 /usr/bin/ceph-osd -f --cluster ceph --id 11 --setuser ceph --setgroup ceph
cephadm+  770980  770940  0 13:54 pts/1    00:00:00 grep --color=auto osd
[cephadmin@cephtest003 ~]$

停服务,需要root 权限

[cephadmin@cephtest003 ~]$ systemctl stop ceph-osd.target
==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===
Authentication is required to manage system services or units.
Authenticating as: root
Password:
==== AUTHENTICATION COMPLETE ===

可见osd 已经down


[cephadmin@cephtest003 ~]$ ceph osd tree
ID CLASS WEIGHT   TYPE NAME            STATUS REWEIGHT PRI-AFF
-1       63.39758 root default
-3        3.26669     host cephtest001
 0   hdd  1.08890         osd.0            up  1.00000 1.00000
 1   hdd  1.08890         osd.1            up  1.00000 1.00000
 2   hdd  1.08890         osd.2            up  1.00000 1.00000
-5        5.45547     host cephtest002
 3   hdd  1.09109         osd.3            up  1.00000 1.00000
 4   hdd  1.09109         osd.4            up  1.00000 1.00000
 5   hdd  1.09109         osd.5            up  1.00000 1.00000
 6   hdd  1.09109         osd.6            up  1.00000 1.00000
 7   hdd  1.09109         osd.7            up  1.00000 1.00000
-7       36.48442     host cephtest003
 8   hdd  0.09999         osd.8          down  1.00000 1.00000
 9   hdd  7.27689         osd.9          down  1.00000 1.00000
10   hdd  7.27689         osd.10         down  1.00000 1.00000
11   hdd  7.27689         osd.11         down  1.00000 1.00000
12   hdd  7.27689         osd.12         down  1.00000 1.00000
13   hdd  7.27689         osd.13         down  1.00000 1.00000
-9       18.19099     host cephtest004
14   hdd  3.63820         osd.14           up  1.00000 1.00000
15   hdd  3.63820         osd.15           up  1.00000 1.00000
16   hdd  3.63820         osd.16           up  1.00000 1.00000
17   hdd  3.63820         osd.17           up  1.00000 1.00000
18   hdd  3.63820         osd.18           up  1.00000 1.00000
[cephadmin@cephtest003 ~]$

3.3.2 删除该节点上所有osd

[cephadmin@cephtest003 ~]$ ceph osd rm 8
removed osd.8
[cephadmin@cephtest003 ~]$ ceph osd rm 9
removed osd.9
[cephadmin@cephtest003 ~]$ ceph osd rm 10
removed osd.10
[cephadmin@cephtest003 ~]$ ceph osd rm 11
removed osd.11
[cephadmin@cephtest003 ~]$ ceph osd rm 12
removed osd.12
[cephadmin@cephtest003 ~]$ ceph osd rm 13
removed osd.13
[cephadmin@cephtest003 ~]$


[cephadmin@cephtest003 ~]$ ceph osd tree
ID CLASS WEIGHT   TYPE NAME            STATUS REWEIGHT PRI-AFF
-1       63.39758 root default
-3        3.26669     host cephtest001
 0   hdd  1.08890         osd.0            up  1.00000 1.00000
 1   hdd  1.08890         osd.1            up  1.00000 1.00000
 2   hdd  1.08890         osd.2            up  1.00000 1.00000
-5        5.45547     host cephtest002
 3   hdd  1.09109         osd.3            up  1.00000 1.00000
 4   hdd  1.09109         osd.4            up  1.00000 1.00000
 5   hdd  1.09109         osd.5            up  1.00000 1.00000
 6   hdd  1.09109         osd.6            up  1.00000 1.00000
 7   hdd  1.09109         osd.7            up  1.00000 1.00000
-7       36.48442     host cephtest003
 8   hdd  0.09999         osd.8           DNE        0
 9   hdd  7.27689         osd.9           DNE        0
10   hdd  7.27689         osd.10          DNE        0
11   hdd  7.27689         osd.11          DNE        0
12   hdd  7.27689         osd.12          DNE        0
13   hdd  7.27689         osd.13          DNE        0
-9       18.19099     host cephtest004
14   hdd  3.63820         osd.14           up  1.00000 1.00000
15   hdd  3.63820         osd.15           up  1.00000 1.00000
16   hdd  3.63820         osd.16           up  1.00000 1.00000
17   hdd  3.63820         osd.17           up  1.00000 1.00000
18   hdd  3.63820         osd.18           up  1.00000 1.00000
[cephadmin@cephtest003 ~]$

3.3.3 删除该节点上所有osd 的crush map

[cephadmin@cephtest003 ~]$ ceph osd crush rm osd.8
removed item id 8 name 'osd.8' from crush map
[cephadmin@cephtest003 ~]$ ceph osd crush rm osd.9
removed item id 9 name 'osd.9' from crush map
[cephadmin@cephtest003 ~]$ ceph osd crush rm osd.10
removed item id 10 name 'osd.10' from crush map
[cephadmin@cephtest003 ~]$ ceph osd crush rm osd.11
removed item id 11 name 'osd.11' from crush map
[cephadmin@cephtest003 ~]$ ceph osd crush rm osd.12
removed item id 12 name 'osd.12' from crush map
[cephadmin@cephtest003 ~]$ ceph osd crush rm osd.13
removed item id 13 name 'osd.13' from crush map
[cephadmin@cephtest003 ~]$ ceph osd tree
ID CLASS WEIGHT   TYPE NAME            STATUS REWEIGHT PRI-AFF
-1       26.91316 root default
-3        3.26669     host cephtest001
 0   hdd  1.08890         osd.0            up  1.00000 1.00000
 1   hdd  1.08890         osd.1            up  1.00000 1.00000
 2   hdd  1.08890         osd.2            up  1.00000 1.00000
-5        5.45547     host cephtest002
 3   hdd  1.09109         osd.3            up  1.00000 1.00000
 4   hdd  1.09109         osd.4            up  1.00000 1.00000
 5   hdd  1.09109         osd.5            up  1.00000 1.00000
 6   hdd  1.09109         osd.6            up  1.00000 1.00000
 7   hdd  1.09109         osd.7            up  1.00000 1.00000
-7              0     host cephtest003
-9       18.19099     host cephtest004
14   hdd  3.63820         osd.14           up  1.00000 1.00000
15   hdd  3.63820         osd.15           up  1.00000 1.00000
16   hdd  3.63820         osd.16           up  1.00000 1.00000
17   hdd  3.63820         osd.17           up  1.00000 1.00000
18   hdd  3.63820         osd.18           up  1.00000 1.00000
[cephadmin@cephtest003 ~]$

3.3.3 删除该节点上所有osd 的认证

[cephadmin@cephtest003 ~]$ ceph auth list | grep osd.8
installed auth entries:

osd.8
[cephadmin@cephtest003 ~]$ ceph auth del osd.8
updated

[cephadmin@cephtest003 ~]$ ceph auth del osd.9
updated
[cephadmin@cephtest003 ~]$ ceph auth del osd.10
updated
[cephadmin@cephtest003 ~]$ ceph auth del osd.11
updated
[cephadmin@cephtest003 ~]$ ceph auth del osd.12
updated
[cephadmin@cephtest003 ~]$ ceph auth del osd.13
updated
[cephadmin@cephtest003 ~]$

3.3.4 ceph osd tree中删除此节点的crush map

[cephadmin@cephtest003 ~]$ ceph osd tree
ID CLASS WEIGHT   TYPE NAME            STATUS REWEIGHT PRI-AFF
-1       26.91316 root default
-3        3.26669     host cephtest001
 0   hdd  1.08890         osd.0            up  1.00000 1.00000
 1   hdd  1.08890         osd.1            up  1.00000 1.00000
 2   hdd  1.08890         osd.2            up  1.00000 1.00000
-5        5.45547     host cephtest002
 3   hdd  1.09109         osd.3            up  1.00000 1.00000
 4   hdd  1.09109         osd.4            up  1.00000 1.00000
 5   hdd  1.09109         osd.5            up  1.00000 1.00000
 6   hdd  1.09109         osd.6            up  1.00000 1.00000
 7   hdd  1.09109         osd.7            up  1.00000 1.00000
-7              0     host cephtest003
-9       18.19099     host cephtest004
14   hdd  3.63820         osd.14           up  1.00000 1.00000
15   hdd  3.63820         osd.15           up  1.00000 1.00000
16   hdd  3.63820         osd.16           up  1.00000 1.00000
17   hdd  3.63820         osd.17           up  1.00000 1.00000
18   hdd  3.63820         osd.18           up  1.00000 1.00000
[cephadmin@cephtest003 ~]$ ceph osd crush rm  cephtest003
removed item id -7 name 'cephtest003' from crush map
[cephadmin@cephtest003 ~]$ ceph osd tree
ID CLASS WEIGHT   TYPE NAME            STATUS REWEIGHT PRI-AFF
-1       26.91316 root default
-3        3.26669     host cephtest001
 0   hdd  1.08890         osd.0            up  1.00000 1.00000
 1   hdd  1.08890         osd.1            up  1.00000 1.00000
 2   hdd  1.08890         osd.2            up  1.00000 1.00000
-5        5.45547     host cephtest002
 3   hdd  1.09109         osd.3            up  1.00000 1.00000
 4   hdd  1.09109         osd.4            up  1.00000 1.00000
 5   hdd  1.09109         osd.5            up  1.00000 1.00000
 6   hdd  1.09109         osd.6            up  1.00000 1.00000
 7   hdd  1.09109         osd.7            up  1.00000 1.00000
-9       18.19099     host cephtest004
14   hdd  3.63820         osd.14           up  1.00000 1.00000
15   hdd  3.63820         osd.15           up  1.00000 1.00000
16   hdd  3.63820         osd.16           up  1.00000 1.00000
17   hdd  3.63820         osd.17           up  1.00000 1.00000
18   hdd  3.63820         osd.18           up  1.00000 1.00000
[cephadmin@cephtest003 ~]$

3.3.5 卸载该节点所有挂载在osd的硬盘(root 用户)

[root@cephtest003 osd]# ll -ah
total 0
drwxr-x---.  8 ceph ceph  94 Dec 25 09:29 .
drwxr-x---. 15 ceph ceph 222 Dec 24 16:49 ..
drwxrwxrwt   2 ceph ceph 180 Dec 31 09:09 ceph-10
drwxrwxrwt   2 ceph ceph 180 Dec 31 09:09 ceph-11
drwxrwxrwt   2 ceph ceph 180 Dec 31 09:09 ceph-12
drwxrwxrwt   2 ceph ceph 180 Dec 31 09:09 ceph-13
drwxrwxrwt   2 ceph ceph 180 Dec 31 09:09 ceph-8
drwxrwxrwt   2 ceph ceph 180 Dec 31 09:09 ceph-9
[root@cephtest003 osd]# cd ceph-8/
[root@cephtest003 ceph-8]# ll
total 24
lrwxrwxrwx 1 ceph ceph 93 Dec 31 09:09 block -> /dev/ceph-7db02a0b-fe54-46c9-ac16-22272491f5ab/osd-block-60527c79-6c65-4807-bb4b-93b1eafc586b
-rw------- 1 ceph ceph 37 Dec 31 09:09 ceph_fsid
-rw------- 1 ceph ceph 37 Dec 31 09:09 fsid
-rw------- 1 ceph ceph 55 Dec 31 09:09 keyring
-rw------- 1 ceph ceph  6 Dec 31 09:09 ready
-rw------- 1 ceph ceph 10 Dec 31 09:09 type
-rw------- 1 ceph ceph  2 Dec 31 09:09 whoami
[root@cephtest003 ceph-8]# cd ../
[root@cephtest003 osd]# cd ~
[root@cephtest003 ~]# umount /var/lib/ceph/osd/ceph-8
[root@cephtest003 ~]# ll /var/lib/ceph/osd/
total 0
drwxrwxrwt  2 ceph ceph 180 Dec 31 09:09 ceph-10
drwxrwxrwt  2 ceph ceph 180 Dec 31 09:09 ceph-11
drwxrwxrwt  2 ceph ceph 180 Dec 31 09:09 ceph-12
drwxrwxrwt  2 ceph ceph 180 Dec 31 09:09 ceph-13
drwxr-xr-x. 2 ceph ceph   6 Dec 25 09:28 ceph-8
drwxrwxrwt  2 ceph ceph 180 Dec 31 09:09 ceph-9
[root@cephtest003 ~]# umount /var/lib/ceph/osd/ceph-9
[root@cephtest003 ~]# umount /var/lib/ceph/osd/ceph-10
[root@cephtest003 ~]# umount /var/lib/ceph/osd/ceph-11
[root@cephtest003 ~]# umount /var/lib/ceph/osd/ceph-12
[root@cephtest003 ~]# umount /var/lib/ceph/osd/ceph-13
[root@cephtest003 ~]# cd /var/lib/ceph/osd/
[root@cephtest003 osd]# ll
total 0
drwxr-xr-x. 2 ceph ceph 6 Dec 25 09:29 ceph-10
drwxr-xr-x. 2 ceph ceph 6 Dec 25 09:29 ceph-11
drwxr-xr-x. 2 ceph ceph 6 Dec 25 09:29 ceph-12
drwxr-xr-x. 2 ceph ceph 6 Dec 25 09:29 ceph-13
drwxr-xr-x. 2 ceph ceph 6 Dec 25 09:28 ceph-8
drwxr-xr-x. 2 ceph ceph 6 Dec 25 09:28 ceph-9
[root@cephtest003 osd]# cd ceph-8/
[root@cephtest003 ceph-8]# ll
total 0
[root@cephtest003 ceph-8]#

(四) 移除该节点mon

3.4.1 当前集群状态

[root@cephtest003 ceph-8]# su - cephadmin
Last login: Fri Feb 19 13:54:40 CST 2021 on pts/1
[cephadmin@cephtest003 ~]$ ceph -s
  cluster:
    id:     6cd05235-66dd-4929-b697-1562d308d5c3
    health: HEALTH_WARN
            1 pools have many more objects per pg than average
            Degraded data redundancy: 17889/72348 objects degraded (24.726%), 97 pgs degraded, 97 pgs undersized

  services:
    mon: 4 daemons, quorum cephtest001,cephtest002,cephtest003,cephtest004 (age 13d)
    mgr: cephtest001(active, since 7w), standbys: cephtest002, cephtest003, cephtest004
    osd: 13 osds: 13 up (since 28m), 13 in (since 11d); 97 remapped pgs
    rgw: 1 daemon active (cephtest004)

  task status:

  data:
    pools:   8 pools, 400 pgs
    objects: 24.12k objects, 167 GiB
    usage:   406 GiB used, 27 TiB / 27 TiB avail
    pgs:     17889/72348 objects degraded (24.726%)
             16284/72348 objects misplaced (22.508%)
             302 active+clean
             95  active+undersized+degraded+remapped+backfill_wait
             2   active+undersized+degraded+remapped+backfilling
             1   active+remapped+backfill_wait

  io:
    client:   219 KiB/s rd, 243 op/s rd, 0 op/s wr
    recovery: 25 MiB/s, 4 objects/s

[cephadmin@cephtest003 ~]$

3.4.2 移除cephtest003 mon

[cephadmin@cephtest003 ~]$ ceph mon stat
e2: 4 mons at {cephtest001=[v2:10.3.176.10:3300/0,v1:10.3.176.10:6789/0],cephtest002=[v2:10.3.176.16:3300/0,v1:10.3.176.16:6789/0],cephtest003=[v2:10.3.176.44:3300/0,v1:10.3.176.44:6789/0],cephtest004=[v2:10.3.176.36:3300/0,v1:10.3.176.36:6789/0]}, election epoch 144, leader 0 cephtest001, quorum 0,1,2,3 cephtest001,cephtest002,cephtest003,cephtest004
[cephadmin@cephtest003 ~]$ ceph mon remove cephtest003
removing mon.cephtest003 at [v2:10.3.176.44:3300/0,v1:10.3.176.44:6789/0], there will be 3 monitors
[cephadmin@cephtest003 ~]$ ceph mon stat
e3: 3 mons at {cephtest001=[v2:10.3.176.10:3300/0,v1:10.3.176.10:6789/0],cephtest002=[v2:10.3.176.16:3300/0,v1:10.3.176.16:6789/0],cephtest004=[v2:10.3.176.36:3300/0,v1:10.3.176.36:6789/0]}, election epoch 150, leader 0 cephtest001, quorum 0,1,2 cephtest001,cephtest002,cephtest004
[cephadmin@cephtest003 ~]$

3.4.3 修改ceph.conf

修改部署节点 /home/cephadmin/cephcluster/ceph.conf 待批量推送的配置文件,删除cephtest003 相关配置。

[cephadmin@cephtest001 cephcluster]$ pwd
/home/cephadmin/cephcluster
[cephadmin@cephtest001 cephcluster]$ cat ceph.conf
[global]
fsid = 6cd05235-66dd-4929-b697-1562d308d5c3
mon_initial_members = cephtest001, cephtest002, cephtest004
mon_host = 10.3.176.10,10.3.176.16,10.3.176.36
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

public network = 10.3.176.0/22
cluster network = 10.3.176.0/22

[cephadmin@cephtest001 cephcluster]$

批量推送配置文件到节点。

3.4.4 推送 修改/home/cephadmin/cephcluster/ceph.conf 到四台节点（部署节点执行）

[cephadmin@cephtest001 cephcluster]$ ceph-deploy --overwrite-conf admin cephtest001 cephtest002  cephtest004

3.4.5 修改 /etc/ceph 目录权限(所有节点执行)

[cephadmin@cephtest004 ~]$ sudo chown -R cephadmin:cephadmin /etc/ceph

（五）关闭mgr

到待删除节点上关闭mgr 服务即可。

[cephadmin@cephtest003 ~]$ ceph -s
  cluster:
    id:     6cd05235-66dd-4929-b697-1562d308d5c3
    health: HEALTH_WARN
            1 pools have many more objects per pg than average

  services:
    mon: 3 daemons, quorum cephtest001,cephtest002,cephtest004 (age 23m)
    mgr: cephtest001(active, since 7w), standbys: cephtest002, cephtest003, cephtest004
    osd: 13 osds: 13 up (since 71m), 13 in (since 11d); 1 remapped pgs
    rgw: 1 daemon active (cephtest004)

  task status:

  data:
    pools:   8 pools, 400 pgs
    objects: 24.12k objects, 167 GiB
    usage:   517 GiB used, 26 TiB / 27 TiB avail
    pgs:     28/72348 objects misplaced (0.039%)
             399 active+clean
             1   active+clean+remapped

  io:
    client:   77 KiB/s rd, 1.3 KiB/s wr, 86 op/s rd, 0 op/s wr

[cephadmin@cephtest003 ~]$ systemctl status ceph-mgr.target
● ceph-mgr.target - ceph target allowing to start/stop all ceph-mgr@.service instances at once
   Loaded: loaded (/usr/lib/systemd/system/ceph-mgr.target; enabled; vendor preset: enabled)
   Active: active since Thu 2020-12-31 09:09:07 CST; 1 months 19 days ago
[cephadmin@cephtest003 ~]$ systemctl stop ceph-mgr.target
==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===
Authentication is required to manage system services or units.
Authenticating as: root
Password:
==== AUTHENTICATION COMPLETE ===

等一会再执行ceph-s

[cephadmin@cephtest003 ~]$ ceph -s
  cluster:
    id:     6cd05235-66dd-4929-b697-1562d308d5c3
    health: HEALTH_WARN
            1 pools have many more objects per pg than average

  services:
    mon: 3 daemons, quorum cephtest001,cephtest002,cephtest004 (age 26m)
    mgr: cephtest001(active, since 7w), standbys: cephtest002, cephtest004
    osd: 13 osds: 13 up (since 75m), 13 in (since 11d); 1 remapped pgs
    rgw: 1 daemon active (cephtest004)

  task status:

  data:
    pools:   8 pools, 400 pgs
    objects: 24.12k objects, 167 GiB
    usage:   517 GiB used, 26 TiB / 27 TiB avail
    pgs:     28/72348 objects misplaced (0.039%)
             399 active+clean
             1   active+clean+remapped

  io:
    client:   7.2 KiB/s rd, 27 KiB/s wr, 10 op/s rd, 7 op/s wr

[cephadmin@cephtest003 ~]$
tobias.b
关注
专栏目录
Ceph管理——增删节点
weixin_43634280的博客
04-01 1258
在前三个节点基础上重新添加新节点Ceph04 关闭防火墙和selinux，配置yum源，/etc/hosts中与前三台机器相互解析，时间同步 安装ceph相关软件 [root@ceph04 ~]# yum install ceph ceph-radosgw -y 在部署节点添加mon [root@ceph01 ~]# ssh-copy-id ceph04 /usr/bin/ssh-copy-id...
Ceph单节点部署
Rocky
07-28 534
首先使用$ipaddr查看主机的内网IP地址，结果如下图示，主机内网IP地址为192.168.47.103/24，此IP地址非常重要，之后频繁使用。初始化ceph的监控，启动mon进程。ceph-s查看集群状态，如图所示，HEALTH_OK,HEALTH_WARN都表明ceph集群安装成功可以使用了。将ceph.client.admin.keyring拷贝到admin03节点上。查看用户信息，记录access_key和secret_access_key的值。配置源后，开始执行yum安装。......
ceph集群移除物理节点
流金岁月的专栏
11-15 870
ceph 分布式存储 osd crush
ceph的正常卸载与非正常卸载
最新发布
happy_king_zi的博客
08-07 988
ps -ef|grep ceph or ps -A|grep ceph<br><br>#启动ceph-mon。ceph-deploy forgetkeys<br><br>#检查ceph-mon是否启动。确保此时所有ceph进程都已经关闭！如果没有关闭，多执行几次。环境已安装ceph-deploy。
ceph测试环境三副本改一副本并移除节点
x10n9的博客
05-25 906
假设之前使用ceph-deploy创建了三节点的ceph环境 删除mon ceph-deploy mon destroy 节点1 节点2 #修改pool副本数量 rados lspools|xargs -i ceph osd pool set {} size 1 rados lspools|xargs -i ceph osd pool set {} mini_size 1 修改ceph.conf,添加单节点配置 osd pool default size = 1 osd pool default min
删除osd节点
weixin_34413065的博客
09-05 126
删除osd的正确方式有如下(对比分析)在ceph的集群当中关于节点的替换的问题，一直按照以前的方式进行的处理，处理的步骤如下：停止osd进程/etc/init.d/cephstoposd.0这一步是停止osd的进程，让其他的osd知道这个节点不提供服务了将节点状态标记为outcephosdoutosd.0这个一步是告诉mon，这个节点已经不能服务了，需要在其他的o...
怎么样正确地删除Ceph上的osd节点？
RunFromHere的博客
12-10 1753
删除 osd 文章目录删除 osd1.停止 osd 进程/服务2.将节点状态标记为out3.从crush中移除节点4.删除节点5.删除节点认证（不删除编号会占住） 1.停止 osd 进程/服务 $ /etc/init.d/ceph stop osd.0 $ systemctl stop ceph-osd@0 2.将节点状态标记为out $ ceph osd out osd.0 告诉mon，这个节点已经不能服务了，需要在其他的osd上进行数据的恢复了 3.从crush中移除节点 $ ceph o
ceph卸载
qn0007的博客
07-13 1341
LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。...
对象存储单节点ceph环境部署，附移除osd并格式化osd所在磁盘脚本
02-19
3.运行 ceph_deploy.sh 脚本，部署【单节点】对象存储环境 4.检查系统状态 ceph -s 5.创建system用户 radosgw-admin user create 6.S3cmd 安装和配置 其他 ceph_rm_osd.sh用于移除osd并格式化osd所在磁盘
ceph L版部署（8节点+缓存）.pdf
04-20
CEPH L版部署方法，真实服务器环境，带日志缓存加速，自己整理 OS版本：CentOS Linux release 7.4.1708 Ceph版本：Luminous 12.2.10 部署工具：ceph-deploy 2.0.1
Ceph集群mon节点告警case---low diskspace.docx
01-04
1. 清理磁盘空间：检查Mon节点的`/var/log/ceph`目录下是否有无用的大文件，并进行删除。这一步可以帮助释放一部分磁盘空间，避免因磁盘满而影响Mon节点的正常运行。 2. 调整告警阈值：通过`ceph --admin-daemon`...
搭建基于docker的3节点 Ceph集群.pdf
01-18
本篇文章将介绍如何在三个节点上通过Docker搭建一个Ceph集群，这是当前企业构建弹性存储云和处理大数据场景下的热门技术实践。 ### Ceph集群基础概念 Ceph集群是由多个守护进程组成的分布式存储系统，主要包括...
PVE 6 离线安装CEPH-Nautilus.docx
11-20
Proxmox VE 6 离线安装CEPH-Nautilus，本教程用于解决纯内网环境无法安装配置ceph集群，亲测可用
ceph osd 节点删除
一束阳光
04-08 1774
1　将osd.0,osd.1从crush中删除，并删除对应的osd,和auth,host ceph osd crush rm osd.0 ceph osd crush rm osd.1 ceph osd rm 0 ceph osd rm 1 ceph auth del osd.0 ceph auth del osd.1 ceph osd crush rm osd2 将故障节点和osd从集...
【Ceph Cluster】完全删除Ceph集群
CSDN博客
10-17 1670
卸载 Ceph 相关的软件包，使用你的 Linux 发行版的包管理器。：重新启动系统以确保所有 Ceph 相关的服务和进程都已停止，并且不再运行。：这一步是最重要的，因为它涉及到删除 Ceph 集群的数据。：检查系统以确保没有残余的 Ceph 文件或目录，如。
【Ceph】关闭standby状态的mgr
runzhliu大数据/容器日记
10-23 1028
Ceph 的官方文档没有讲怎么去删除不需要的 mgr，因为之前部署的时候多了一些 mon 和 mgr，所以有运维脚本去直接从 mon 的 map 里把 mon 删除，但是 mgr 似乎不需要这样操作。 反正官方文档并没有说怎么操作，我这边测试了一下，只要把 mgr 的进程停了，ceph status 就不会再找到 standby 的那台机器了。关于 mgr 的信息可以通过命令 ceph mgr dump 来直接获取。 ...
Linux centos 卸载 ceph
求知若渴，虚心若愚。
09-06 1211
1. 停止Ceph集群：首先，你需要停止Ceph集群中的所有服务。3. 删除配置文件和数据：删除Ceph的配置文件和数据目录。这将删除所有的Ceph用户和相关密钥。6. 删除已安装的依赖项：如果你安装了与Ceph相关的其他依赖项，你可能需要使用。4. 清除Ceph用户和密钥：使用以下命令清除Ceph用户和相关的密钥。包管理器卸载Ceph软件包。运行以下命令来删除Ceph软件包。5. 清除系统日志：用于删除Ceph服务产生的系统日志文件。2. 卸载Ceph软件包：在每个节点上，使用。
ceph--使用ceph-deploy卸载ceph集群
weixin_44515412的博客
11-08 773
【代码】ceph--使用ceph-deploy卸载ceph集群。
Ubuntu 12.04下三节点Ceph集群部署教程
在Ubuntu 12.04环境下安装Ceph分布式存储系统，主要涉及以下关键步骤： 1. **安装Ceph客户端库和密钥认证**: 首先，通过wget命令从Ceph官网下载...完成这些步骤后，一个基本的Ceph集群就在Ubuntu 12.04上搭建成功了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值