Ceph OSD扩容与缩容

最新推荐文章于 2024-10-14 13:44:53 发布
最新推荐文章于 2024-10-14 13:44:53 发布
阅读量3k 收藏 2
点赞数
分类专栏： 运维 文章标签： linux ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengge55/article/details/127979505
版权

      在企业生产环境中，随着时间的迁移数据会存在磁盘空间不足，或者机器节点故障等情况。OSD又是实际存储数据，所以扩容和缩容OSD就很有必要性

随着我们数据量的增长，后期可能我们需要对osd进行扩容。目前扩容分为两种，一种为横向扩容，另外一种为纵向扩容

  • 横向扩容scale out增加节点，添加更多的节点进来，让集群包含更多的节点
  • 纵向扩容scale up增加磁盘，添加更多的硬盘进行，来增加存储容量

一、横向扩容

横向扩容实际上就是把ceph osd节点安装一遍，安装步骤我这里一步带过，详细的步骤可以参考下面的文章

新添加机器

执行添加节点初始化步骤

  1. #NTP SERVER (ntp server 与阿里与ntp时间服务器进行同步)
  2. #首先我们配置ntp server，我这里在ceph01上面配置
  3. yum install -y ntp
  4. systemctl start ntpd
  5. systemctl enable ntpd
  6. timedatectl set-timezone Asia/Shanghai
  7. #将当前的 UTC 时间写入硬件时钟
  8. timedatectl set-local-rtc 0
  9. #重启依赖于系统时间的服务
  10. systemctl restart rsyslog
  11. systemctl restart crond
  12. #这样我们的ntp server自动连接到外网，进行同步 (时间同步完成在IP前面会有一个*号)
  13. [root@ceph-01 ~]# ntpq -pn
  14. remote refid st t when poll reach delay offset jitter
  15. ==============================================================================
  16. 120.25.115.20 10.137.53.7 2 u 8 64 17 40.203 -24.837 0.253
  17. *203.107.6.88 100.107.25.114 2 u 8 64 17 14.998 -22.611 0.186
  18. #NTP Agent (ntp agent同步ntp server时间)
  19. ntp agent需要修改ntp server的地址
  20. [root@ceph-02 ~]# vim /etc/ntp.conf
  21. server 192.168.31.20 iburst
  22. #server 0.centos.pool.ntp.org iburst
  23. #server 1.centos.pool.ntp.org iburst
  24. #server 2.centos.pool.ntp.org iburst
  25. #server 3.centos.pool.ntp.org iburst
  26. #注释默认的server，添加一条我们ntp server的地址
  27. [root@ceph-02 ~]# systemctl restart ntpd
  28. [root@ceph-02 ~]# systemctl enable ntpd
  29. #等待几分钟出现*号代表同步完成
  30. [root@ceph-02 ~]# ntpq -pn
  31. remote refid st t when poll reach delay offset jitter
  32. ==============================================================================
  33. *192.168.31.20 120.25.115.20 3 u 13 64 1 0.125 -19.095 0.095
  34. #ceph-03节点操作相同
  35. 在ntp_agent节点添加定时同步任务
  37. $ crontab -e
  38. */5 * * * * /usr/sbin/ntpdate 192.168.31.20
  39. ntp时间服务器设置完成后在所有节点修改时区以及写入硬件
  41. timedatectl set-timezone Asia/Shanghai
  42. #将当前的 UTC 时间写入硬件时钟
  43. timedatectl set-local-rtc 0
  44. #重启依赖于系统时间的服务
  45. systemctl restart rsyslog
  46. systemctl restart crond
  47. 校对时间
  49. [root@ceph-01 ~]# date
  50. Tue Sep 8 17:35:43 CST 2020
  51. [root@ceph-02 ~]# date
  52. Tue Sep 8 17:35:46 CST 2020
  53. [root@ceph-03 ~]# date
  54. Tue Sep 8 17:35:47 CST 2020
  56. 添加host
  57. [root@ceph-01 ceph-deploy]# vim /etc/hosts
  58. 192.168.31.23 ceph-04
  60. #关闭防火墙
  62. systemctl stop firewalld
  63. systemctl disable firewalld
  64. iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat
  65. iptables -P FORWARD ACCEPT
  66. setenforce 0
  67. sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
  69. #ceph yum源配置
  70. #配置centos、epeo、ceph源
  71. curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
  72. wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
  73. wget -O /etc/yum.repos.d/ceph.repo http://down.i4t.com/ceph/ceph.repo
  74. yum clean all
  75. yum makecache
  77. #安装ceph
  78. yum install -y ceph vim wget
  80. #进入mon节点，分发配置文件，添加osd节点
  82. [root@ceph-01 ceph-deploy]# cd /root/ceph-deploy/
  83. [root@ceph-01 ceph-deploy]# ceph-deploy --overwrite-conf config push ceph-04
  84. [root@ceph-01 ceph-deploy]# ceph-deploy osd create --data /dev/sdb ceph-04
  86. #这时候可以看到节点已经添加进来了，并且ceph状态已经是OK
  88. [root@ceph-01 ceph-deploy]# ceph osd tree
  89. ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
  90. -1 0.22449 root default
  91. -3 0.07809 host ceph-01
  92. 0 hdd 0.04880 osd.0 up 1.00000 1.00000
  93. 3 hdd 0.02930 osd.3 up 1.00000 1.00000
  94. -5 0.04880 host ceph-02
  95. 1 hdd 0.04880 osd.1 up 1.00000 1.00000
  96. -7 0.04880 host ceph-03
  97. 2 hdd 0.04880 osd.2 up 1.00000 1.00000
  98. -9 0.04880 host ceph-04
  99. 4 hdd 0.04880 osd.4 up 1.00000 1.00000
  100. [root@ceph-01 ceph-deploy]#
  101. [root@ceph-01 ceph-deploy]# ceph -s
  102. cluster:
  103. id: c8ae7537-8693-40df-8943-733f82049642
  104. health: HEALTH_OK
  106. services:
  107. mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 11m)
  108. mgr: ceph-03(active, since 8d), standbys: ceph-02, ceph-01
  109. mds: cephfs-abcdocker:1 {0=ceph-02=up:active} 2 up:standby
  110. osd: 5 osds: 5 up (since 7m), 5 in (since 7m)
  111. rgw: 1 daemon active (ceph-01)
  113. task status:
  115. data:
  116. pools: 9 pools, 384 pgs
  117. objects: 320 objects, 141 MiB
  118. usage: 5.5 GiB used, 224 GiB / 230 GiB avail
  119. pgs: 384 active+clean

二、纵向扩容

纵向扩容即添加一块新硬盘即可 (我这里只添加ceph-01服务器一块30G盘)

如果我们新增的硬盘有数据和分区需要初始化，可以通过下面的命令进行处理

 

  1. [root@ceph-01 ~]# fdisk -l /dev/sdc #查看目前的硬盘空间
  3. Disk /dev/sdc: 32.2 GB, 32212254720 bytes, 62914560 sectors
  4. Units = sectors of 1 * 512 = 512 bytes
  5. Sector size (logical/physical): 512 bytes / 512 bytes
  6. I/O size (minimum/optimal): 512 bytes / 512 bytes
  8. [root@ceph-01 ~]# cd ceph-deploy #需要进入到我们的ceph.conf目录，否则执行命令会报错
  9. [root@ceph-01 ceph-deploy]# ceph-deploy disk zap ceph-01 /dev/sdc #执行初始化命令，ceph-01为需要初始化的节点，/dev/sdc初始化硬盘
  11. [ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
  12. [ceph_deploy.cli][INFO ] Invoked (2.0.1): /bin/ceph-deploy disk zap ceph-01 /dev/sdc
  13. [ceph_deploy.cli][INFO ] ceph-deploy options:
  14. [ceph_deploy.cli][INFO ] username : None
  15. [ceph_deploy.cli][INFO ] verbose : False
  16. [ceph_deploy.cli][INFO ] debug : False
  17. [ceph_deploy.cli][INFO ] overwrite_conf : False
  18. [ceph_deploy.cli][INFO ] subcommand : zap
  19. [ceph_deploy.cli][INFO ] quiet : False
  20. [ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x283f290>
  21. [ceph_deploy.cli][INFO ] cluster : ceph
  22. [ceph_deploy.cli][INFO ] host : ceph-01
  23. [ceph_deploy.cli][INFO ] func : <function disk at 0x282c7d0>
  24. [ceph_deploy.cli][INFO ] ceph_conf : None
  25. [ceph_deploy.cli][INFO ] default_release : False
  26. [ceph_deploy.cli][INFO ] disk : ['/dev/sdc']
  27. [ceph_deploy.osd][DEBUG ] zapping /dev/sdc on ceph-01
  28. [ceph-01][DEBUG ] connected to host: ceph-01
  29. [ceph-01][DEBUG ] detect platform information from remote host
  30. [ceph-01][DEBUG ] detect machine type
  31. [ceph-01][DEBUG ] find the location of an executable
  32. [ceph_deploy.osd][INFO ] Distro info: CentOS Linux 7.4.1708 Core
  33. [ceph-01][DEBUG ] zeroing last few blocks of device
  34. [ceph-01][DEBUG ] find the location of an executable
  35. [ceph-01][INFO ] Running command: /usr/sbin/ceph-volume lvm zap /dev/sdc
  36. [ceph-01][WARNIN] --> Zapping: /dev/sdc
  37. [ceph-01][WARNIN] --> --destroy was not specified, but zapping a whole device will remove the partition table
  38. [ceph-01][WARNIN] Running command: /bin/dd if=/dev/zero of=/dev/sdc bs=1M count=10 conv=fsync
  39. [ceph-01][WARNIN] stderr: 10+0 records in
  40. [ceph-01][WARNIN] 10+0 records out
  41. [ceph-01][WARNIN] 10485760 bytes (10 MB) copied
  42. [ceph-01][WARNIN] stderr: , 0.378842 s, 27.7 MB/s
  43. [ceph-01][WARNIN] --> Zapping successful for: <Raw Device: /dev/sdc>
 

 
 
实际上上面的命令只是执行了一个dd命令，将我们服务器的数据表内容清除
 

 

接下来我们执行扩容命令
 

#ceph-01为扩容节点名称，--data为扩容节点硬盘
 

  1. [root@ceph-01 ceph-deploy]# ceph-deploy osd create ceph-01 --data /dev/sdc
  2. [ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
  3. [ceph_deploy.cli][INFO ] Invoked (2.0.1): /bin/ceph-deploy osd create ceph-01 --data /dev/sdc
  4. [ceph_deploy.cli][INFO ] ceph-deploy options:
  5. [ceph_deploy.cli][INFO ] verbose : False
  6. [ceph_deploy.cli][INFO ] bluestore : None
  7. [ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x20e33b0>
  8. [ceph_deploy.cli][INFO ] cluster : ceph
  9. [ceph_deploy.cli][INFO ] fs_type : xfs
  10. [ceph_deploy.cli][INFO ] block_wal : None
  11. [ceph_deploy.cli][INFO ] default_release : False
  12. [ceph_deploy.cli][INFO ] username : None
  13. [ceph_deploy.cli][INFO ] journal : None
  14. [ceph_deploy.cli][INFO ] subcommand : create
  15. [ceph_deploy.cli][INFO ] host : ceph-01
  16. [ceph_deploy.cli][INFO ] filestore : None
  17. [ceph_deploy.cli][INFO ] func : <function osd at 0x20cf758>
  18. [ceph_deploy.cli][INFO ] ceph_conf : None
  19. [ceph_deploy.cli][INFO ] zap_disk : False
  20. [ceph_deploy.cli][INFO ] data : /dev/sdc
  21. [ceph_deploy.cli][INFO ] block_db : None
  22. [ceph_deploy.cli][INFO ] dmcrypt : False
  23. [ceph_deploy.cli][INFO ] overwrite_conf : False
  24. [ceph_deploy.cli][INFO ] dmcrypt_key_dir : /etc/ceph/dmcrypt-keys
  25. [ceph_deploy.cli][INFO ] quiet : False
  26. [ceph_deploy.cli][INFO ] debug : False
  27. [ceph_deploy.osd][DEBUG ] Creating OSD on cluster ceph with data device /dev/sdc
  28. [ceph-01][DEBUG ] connected to host: ceph-01
  29. [ceph-01][DEBUG ] detect platform information from remote host
  30. [ceph-01][DEBUG ] detect machine type
  31. [ceph-01][DEBUG ] find the location of an executable
  32. [ceph_deploy.osd][INFO ] Distro info: CentOS Linux 7.4.1708 Core
  33. [ceph_deploy.osd][DEBUG ] Deploying osd to ceph-01
  34. [ceph-01][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
  35. [ceph-01][DEBUG ] find the location of an executable
  36. [ceph-01][INFO ] Running command: /usr/sbin/ceph-volume --cluster ceph lvm create --bluestore --data /dev/sdc
  37. [ceph-01][WARNIN] Running command: /bin/ceph-authtool --gen-print-key
  38. [ceph-01][WARNIN] Running command: /bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new 40cc4038-1d7b-4ec8-a78b-6dc939b9dd01
  39. [ceph-01][WARNIN] Running command: /sbin/vgcreate --force --yes ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96 /dev/sdc
  40. [ceph-01][WARNIN] stdout: Physical volume "/dev/sdc" successfully created.
  41. [ceph-01][WARNIN] stdout: Volume group "ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96" successfully created
  42. [ceph-01][WARNIN] Running command: /sbin/lvcreate --yes -l 7679 -n osd-block-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01 ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96
  43. [ceph-01][WARNIN] stdout: Logical volume "osd-block-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01" created.
  44. [ceph-01][WARNIN] Running command: /bin/ceph-authtool --gen-print-key
  45. [ceph-01][WARNIN] Running command: /bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-3
  46. [ceph-01][WARNIN] Running command: /bin/chown -h ceph:ceph /dev/ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96/osd-block-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01
  47. [ceph-01][WARNIN] Running command: /bin/chown -R ceph:ceph /dev/dm-1
  48. [ceph-01][WARNIN] Running command: /bin/ln -s /dev/ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96/osd-block-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01 /var/lib/ceph/osd/ceph-3/block
  49. [ceph-01][WARNIN] Running command: /bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-3/activate.monmap
  50. [ceph-01][WARNIN] stderr: 2022-02-15 15:32:34.732 7f433f903700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.bootstrap-osd.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
  51. [ceph-01][WARNIN] 2022-02-15 15:32:34.732 7f433f903700 -1 AuthRegistry(0x7f4338066aa8) no keyring found at /etc/ceph/ceph.client.bootstrap-osd.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
  52. [ceph-01][WARNIN] stderr: got monmap epoch 3
  53. [ceph-01][WARNIN] Running command: /bin/ceph-authtool /var/lib/ceph/osd/ceph-3/keyring --create-keyring --name osd.3 --add-key AQARVwtiym1ZMRAAVHbevWt3Mr3VfpnOkCQnEg==
  54. [ceph-01][WARNIN] stdout: creating /var/lib/ceph/osd/ceph-3/keyring
  55. [ceph-01][WARNIN] added entity osd.3 auth(key=AQARVwtiym1ZMRAAVHbevWt3Mr3VfpnOkCQnEg==)
  56. [ceph-01][WARNIN] Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-3/keyring
  57. [ceph-01][WARNIN] Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-3/
  58. [ceph-01][WARNIN] Running command: /bin/ceph-osd --cluster ceph --osd-objectstore bluestore --mkfs -i 3 --monmap /var/lib/ceph/osd/ceph-3/activate.monmap --keyfile - --osd-data /var/lib/ceph/osd/ceph-3/ --osd-uuid 40cc4038-1d7b-4ec8-a78b-6dc939b9dd01 --setuser ceph --setgroup ceph
  59. [ceph-01][WARNIN] stderr: 2022-02-15 15:32:35.229 7fa862665a80 -1 bluestore(/var/lib/ceph/osd/ceph-3/) _read_fsid unparsable uuid
  60. [ceph-01][WARNIN] --> ceph-volume lvm prepare successful for: /dev/sdc
  61. [ceph-01][WARNIN] Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-3
  62. [ceph-01][WARNIN] Running command: /bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96/osd-block-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01 --path /var/lib/ceph/osd/ceph-3 --no-mon-config
  63. [ceph-01][WARNIN] Running command: /bin/ln -snf /dev/ceph-6adf3ba2-9b6f-4f62-b9c9-0e6414bd1c96/osd-block-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01 /var/lib/ceph/osd/ceph-3/block
  64. [ceph-01][WARNIN] Running command: /bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-3/block
  65. [ceph-01][WARNIN] Running command: /bin/chown -R ceph:ceph /dev/dm-1
  66. [ceph-01][WARNIN] Running command: /bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-3
  67. [ceph-01][WARNIN] Running command: /bin/systemctl enable ceph-volume@lvm-3-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01
  68. [ceph-01][WARNIN] stderr: Created symlink from /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-3-40cc4038-1d7b-4ec8-a78b-6dc939b9dd01.service to /usr/lib/systemd/system/ceph-volume@.service.
  69. [ceph-01][WARNIN] Running command: /bin/systemctl enable --runtime ceph-osd@3
  70. [ceph-01][WARNIN] stderr: Created symlink from /run/systemd/system/ceph-osd.target.wants/ceph-osd@3.service to /usr/lib/systemd/system/ceph-osd@.service.
  71. [ceph-01][WARNIN] Running command: /bin/systemctl start ceph-osd@3
  72. [ceph-01][WARNIN] --> ceph-volume lvm activate successful for osd ID: 3
  73. [ceph-01][WARNIN] --> ceph-volume lvm create successful for: /dev/sdc
  74. [ceph-01][INFO ] checking OSD status...
  75. [ceph-01][DEBUG ] find the location of an executable
  76. [ceph-01][INFO ] Running command: /bin/ceph --cluster=ceph osd stat --format=json
  77. [ceph_deploy.osd][DEBUG ] Host ceph-01 is now ready for osd use.
 

 

# 扩容完成我们可以看到ceph的状态，此时我们的osd已经发生变化
 

  [root@ceph-01 ceph-deploy]# ceph -s
 

  1. cluster:
  2. id: c8ae7537-8693-40df-8943-733f82049642
  3. health: HEALTH_OK
  5. services:
  6. mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 19m)
  7. mgr: ceph-03(active, since 7d), standbys: ceph-02, ceph-01
  8. mds: cephfs-abcdocker:1 {0=ceph-02=up:active} 2 up:standby
  9. osd: 4 osds: 4 up (since 2m), 4 in (since 2m) #osd已经变更为4个，状态为up
  10. rgw: 1 daemon active (ceph-01)
  12. task status:
  14. data:
  15. pools: 9 pools, 384 pgs
  16. objects: 320 objects, 141 MiB
  17. usage: 4.5 GiB used, 176 GiB / 180 GiB avail #空间大小已经由原来的150扩容为180
  18. pgs: 384 active+clean
 

 

# 通过ceph osd tree可以看到我们三台节点，一共有4个osd，其中ceph-01节点有2台osd节点
 

[root@ceph-01 ceph-deploy]# ceph osd tree
 

  1. ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
  2. -1 0.17569 root default
  3. -3 0.07809 host ceph-01
  4. 0 hdd 0.04880 osd.0 up 1.00000 1.00000
  5. 3 hdd 0.02930 osd.3 up 1.00000 1.00000
  6. -5 0.04880 host ceph-02
  7. 1 hdd 0.04880 osd.1 up 1.00000 1.00000
  8. -7 0.04880 host ceph-03
  9. 2 hdd 0.04880 osd.2 up 1.00000 1.00000
 

 

三、数据重分步 rebalancing
 

数据重分布原理
 当Ceph OSD添加到Ceph存储集群时，集群映射会使用新的 OSD 进行更新。回到计算 PG ID中，这会更改集群映射。因此，它改变了对象的放置，因为它改变了计算的输入。下图描述了重新平衡过程（尽管相当粗略，因为它对大型集群的影响要小得多），其中一些但不是所有 PG 从现有 OSD（OSD 1 和 OSD 2）迁移到新 OSD（OSD 3） ）。即使在再平衡时，许多归置组保持原来的配置，每个OSD都获得了一些额外的容量，因此在重新平衡完成后新 OSD 上没有负载峰值。
 

 
 
PG中存储的是subject，因为subject计算比较复杂，所以ceph会直接迁移pg保证集群平衡
 

 

 

 

#DD一个10G的文件
 

[root@ceph-01 abcdocker]# dd if=/dev/zero of=abcdocker.img bs=1M count=10240 
 

 

我们将文件复制到CEPHFS文件存储中，通过ceph健康检查，就可以看到下面的PG同步的状态
 

 
 
ceph osd重分布不会马上进行数据同步，而是大概有10分钟的等待时间。在异常时可以看到有多少个object受到影响，并不会马上同步
 

 

[root@ceph-02 ~]# ceph -s
 

  1. cluster:
  2. id: c8ae7537-8693-40df-8943-733f82049642
  3. health: HEALTH_WARN
  4. Degraded data redundancy: 8/8640 objects degraded (0.093%), 2 pgs degraded
  6. services:
  7. mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 71s)
  8. mgr: ceph-03(active, since 8d), standbys: ceph-02, ceph-01
  9. mds: cephfs-abcdocker:1 {0=ceph-03=up:active} 2 up:standby
  10. osd: 5 osds: 5 up (since 15s), 5 in (since 3h)
  11. rgw: 1 daemon active (ceph-01)
  13. task status:
  15. data:
  16. pools: 9 pools, 384 pgs
  17. objects: 2.88k objects, 10 GiB
  18. usage: 36 GiB used, 194 GiB / 230 GiB avail
  19. pgs: 8/8640 objects degraded (0.093%)
  20. 382 active+clean
  21. 1 active+recovery_wait+degraded
  22. 1 active+recovering+degraded
  24. io:
  25. recovery: 0 B/s, 1 objects/s
  26. client: 32 KiB/s rd, 0 B/s wr, 31 op/s rd, 21 op/s wr
 

当PG数据同步完成后，ceph集群health状态就变更为OK
 

 
 
温馨提示，当ceph osd执行重分配时，会影响ceph集群正常写入的操作。所以当更新升级osd节点时建议一台一台进行更新，或者临时关闭rebalance
 

 

ceph osd 重分布以及写入数据是可以指定2块网卡，生产环境建议ceph配置双网段。cluster_network为osd数据扩容同步重分配网卡，public_network为ceph客户端连接的网络。设置双网段可以减少重分布造成的影响
 

如果我们已经在数据重分配了，已经影响到线上ceph正常读写了，可以通过下面的方式临时暂停rebalance
 

[root@ceph-01 ceph-deploy]# ceph osd set norebalance
 

  1. norebalance is set
  2. [root@ceph-01 ceph-deploy]# ceph osd set nobackfill
  3. nobackfill is set
  5. #当我们设置了norebalance nobackfill ，ceph会将重分布给暂停掉。ceph业务就可以访问正常
  6. [root@ceph-01 ceph-deploy]# ceph -s
  7. cluster:
  8. id: c8ae7537-8693-40df-8943-733f82049642
  9. health: HEALTH_WARN
  10. nobackfill,norebalance flag(s) set
  12. services:
  13. mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 38m)
  14. mgr: ceph-03(active, since 8d), standbys: ceph-02, ceph-01
  15. mds: cephfs-abcdocker:1 {0=ceph-03=up:active} 2 up:standby
  16. osd: 5 osds: 5 up (since 37m), 5 in (since 3h)
  17. flags nobackfill,norebalance
  18. rgw: 1 daemon active (ceph-01)
  20. task status:
  22. data:
  23. pools: 9 pools, 384 pgs
  24. objects: 2.88k objects, 10 GiB
  25. usage: 36 GiB used, 194 GiB / 230 GiB avail
  26. pgs: 384 active+clean
 

 

# 解除rebalance命令如下
 

[root@ceph-01 ceph-deploy]# ceph osd unset nobackfill
 

  1. nobackfill is unset
  2. [root@ceph-01 ceph-deploy]# ceph osd unset norebalance
  3. norebalance is unset
  4. [root@ceph-01 ceph-deploy]# ceph -s
  5. cluster:
  6. id: c8ae7537-8693-40df-8943-733f82049642
  7. health: HEALTH_OK
  9. services:
  10. mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 40m)
  11. mgr: ceph-03(active, since 8d), standbys: ceph-02, ceph-01
  12. mds: cephfs-abcdocker:1 {0=ceph-03=up:active} 2 up:standby
  13. osd: 5 osds: 5 up (since 39m), 5 in (since 3h)
  14. rgw: 1 daemon active (ceph-01)
  16. task status:
  18. data:
  19. pools: 9 pools, 384 pgs
  20. objects: 2.88k objects, 10 GiB
  21. usage: 36 GiB used, 194 GiB / 230 GiB avail
  22. pgs: 384 active+clean 
 

四、OSD 缩容
 

当某个时间段我们OSD服务器受到外部因素影响，硬盘更换，或者是节点DOWN机需要手动剔除OSD节点。
 

目前ceph osd状态
 

[root@ceph-01 ~]# ceph osd tree
 

  1. ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
  2. -1 0.22449 root default
  3. -3 0.07809 host ceph-01
  4. 0 hdd 0.04880 osd.0 up 1.00000 1.00000
  5. 3 hdd 0.02930 osd.3 up 1.00000 1.00000
  6. -5 0.04880 host ceph-02
  7. 1 hdd 0.04880 osd.1 up 1.00000 1.00000
  8. -7 0.04880 host ceph-03
  9. 2 hdd 0.04880 osd.2 up 1.00000 1.00000
  10. -9 0.04880 host ceph-04
  11. 4 hdd 0.04880 osd.4 up 1.00000 1.00000
 

目前我们ceph节点一共有4台，其中ceph-01有2个osd节点。 假设我们ceph-04节点出现故障，软件或者硬件故障，需要将ceph-04从ceph集群中剔除
 

 
 
ceph osd perf 可以看到ceph中osd的延迟，如果生产中遇到哪块盘延迟较大，可以进行手动剔除
 

 

故障发生后，如果一定时间后重新上线故障 OSD，那么 PG 会进行以下流程:
 

 
 
  1. 故障OSD上线，通知Monitor并注册，该OSD在上线前会读取存在持久化的设备的PGLog
     2.Monitor 得知该OSD的旧id，因此会继续使用以前的PG分配，之前该OSD下线造成的Degraded PG会被通知该OSD已经中心加入
     3.这时候分为两种情况，以下两种情况PG会标记自己为Peering状态并暂时停止处理请求
 
 
  •  
    第一种情况
     故障OSD是拥有Primary PG,它作为这部分数据权责主题，需要发送查询PG元数据请求给所有属于该PG的Replicate角色节点。该PG的Replicate角色节点实际上在故障OSD下线时期成为了Primary角色并维护了权威的PGLog，该PG在得到OSD的Primary PG的查询请求后会发送回应。Primary PG通过对比Replicate PG发送的元数据和PG版本信息后发现处于落后状态，因此会合并到PGLog并建立权威PGLog，同时会建立missing列表来标记过时数据
     
  •  
    第二种情况
     故障OSD是拥有Replicate PG,这时上线后故障OSD的Replicate PG会得到Primary PG的查询请求，发送自己这份过时的元数据和PGLog。Primary PG对比数据后发现该PG落后时，通过PGLog建立missing列表。
     
   
    1. PG开始接受IO请求，但是PG所属的故障节点仍存在过时数据，故障节点的Primary PG会发起Pull请求从Replicate节点获得最新数据，Replicate PG会得到其它OSD节点的Primary PG的Push请求来恢复数据
       5.恢复完成后标记自己Clean
 

 

第三步是PG唯一不处理请求的阶段，它通常会在1s内完成来减少不可用时间。但是这里仍然有其他问题，比如恢复期间故障OSD会维护missing列表，如果IO正好是处于missing列表的数据，那么PG会进行恢复数据的插队操作，主动将该IO涉及的数据从Replicate PG拉过来，提前恢复该部分数据。这个情况延迟大概几十毫秒
 

 

首先我们模拟ceph04节点异常，异常的情况有很多，我直接down掉ceph-04节点
 

第一步: shutdown ceph-04
 

第二步: 检查ceph状态
 

[root@ceph-01 ~]# ceph osd tree
 

  1. ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
  2. -1 0.22449 root default
  3. -3 0.07809 host ceph-01
  4. 0 hdd 0.04880 osd.0 up 1.00000 1.00000
  5. 3 hdd 0.02930 osd.3 up 1.00000 1.00000
  6. -5 0.04880 host ceph-02
  7. 1 hdd 0.04880 osd.1 up 1.00000 1.00000
  8. -7 0.04880 host ceph-03
  9. 2 hdd 0.04880 osd.2 up 1.00000 1.00000
  10. -9 0.04880 host ceph-04
  11. 4 hdd 0.04880 osd.4 down 1.00000 1.00000
  13. # ceph -04中的osd状态已经是down的状态
  15. [root@ceph-01 ~]# ceph -s
  16. cluster:
  17. id: c8ae7537-8693-40df-8943-733f82049642
  18. health: HEALTH_WARN
  19. 1 osds down
  20. 1 host (1 osds) down
  21. Degraded data redundancy: 2154/8640 objects degraded (24.931%), 133 pgs degraded
  23. services:
  24. mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 16h)
  25. mgr: ceph-03(active, since 8d), standbys: ceph-02, ceph-01
  26. mds: cephfs-abcdocker:1 {0=ceph-03=up:active} 2 up:standby
  27. osd: 5 osds: 4 up (since 23s), 5 in (since 20h)
  28. rgw: 1 daemon active (ceph-01)
  30. task status:
  32. data:
  33. pools: 9 pools, 384 pgs
  34. objects: 2.88k objects, 10 GiB
  35. usage: 36 GiB used, 194 GiB / 230 GiB avail
  36. pgs: 2154/8640 objects degraded (24.931%)
  37. 166 active+undersized
  38. 133 active+undersized+degraded
  39. 85 active+clean
  41. #可以看到，大概有2154个object受到影响
 

通过ceph -s可以看到异常的osd在ceph-04上，osd的节点为osd.4。下面执行osd out，可以将权重变小
 

 

  1. [root@ceph-01 ~]# ceph osd out osd.4
  3. #因为本身没权重，ceph就不会让此节点提供服务
 

第三步: 删除CRUSHMAP信息，默认情况下ceph osd out不会删除crush中的信息
 

 

  1. [root@ceph-01 ~]# ceph osd crush dump|head
  2. {
  3. "devices": [
  4. {
  5. "id": 0,
  6. "name": "osd.0",
  7. "class": "hdd"
  8. },
  9. {
  10. "id": 1,
  11. "name": "osd.1",
 

从集群里面删除这个节点的记录
 

 

  1. [root@ceph-01 ~]# ceph osd crush rm osd.4
  2. removed item id 4 name 'osd.4' from crush map
 

当前ceph osd里面没有任何数据了，但是ceph集群中还有保留
 

第四步: 从集群中删除异常节点
 

 

  1. #虽然没有提供数据，但是还有存在这个节点
  2. [root@ceph-01 ~]# ceph osd rm osd.4
  3. removed osd.4
  4. [root@ceph-01 ~]# ceph osd tree
  5. ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
  6. -1 0.17569 root default
  7. -3 0.07809 host ceph-01
  8. 0 hdd 0.04880 osd.0 up 1.00000 1.00000
  9. 3 hdd 0.02930 osd.3 up 1.00000 1.00000
  10. -5 0.04880 host ceph-02
  11. 1 hdd 0.04880 osd.1 up 1.00000 1.00000
  12. -7 0.04880 host ceph-03
  13. 2 hdd 0.04880 osd.2 up 1.00000 1.00000
  14. -9 0 host ceph-04
 

在通过ceph -s查看时，osd的节点已经更改为4个
 

 

  1. [root@ceph-01 ~]# ceph -s|grep osd
  2. osd: 4 osds: 4 up (since 10m), 4 in (since 9m); 27 remapped pgs
 

第五步: 删除auth中的osd key
 

 

  1. #此时我们通过ceph -s参数还可以看到有集群状态，是因为auth中osd的key没有删除
  2. #通过下面的命令删除auth中的key
  4. #查看auth list
  5. [root@ceph-01 ~]# ceph auth list|grep osd
  6. installed auth entries:
  8. caps: [osd] allow rwx
  9. caps: [osd] allow rwx
  10. caps: [osd] allow rwx
  11. osd.0
  12. caps: [mgr] allow profile osd
  13. caps: [mon] allow profile osd
  14. caps: [osd] allow *
  15. osd.1
  16. caps: [mgr] allow profile osd
  17. caps: [mon] allow profile osd
  18. caps: [osd] allow *
  19. osd.2
  20. caps: [mgr] allow profile osd
  21. caps: [mon] allow profile osd
  22. caps: [osd] allow *
  23. osd.3
  24. caps: [mgr] allow profile osd
  25. caps: [mon] allow profile osd
  26. caps: [osd] allow *
  27. osd.4
  28. caps: [mgr] allow profile osd
  29. caps: [mon] allow profile osd
  30. caps: [osd] allow *
  31. caps: [osd] allow *
  32. client.bootstrap-osd
  33. caps: [mon] allow profile bootstrap-osd
  34. caps: [osd] allow rwx
  35. caps: [osd] allow *
  36. caps: [osd] allow *
  37. caps: [osd] allow *
  39. #删除osd.4
  40. [root@ceph-01 ~]# ceph auth rm osd.4
  41. #注意不要删除osd
 

 

 

 

 

 

 

 


                

        

    

  


    

      

        

            

              
                
                  fengge55
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
第⑪讲：Ceph集群OSD扩容方案及实现横向和纵向扩容

				
			

			

				

					江晓龙的博客
				

				

					04-07
					
					1149
					
				

			

		

		

			
				
ceph-node-1节点已经有3个OSD，一个硬盘就对应一个OSD节点。这条命令其实就是执行了一个dd命令，将硬盘的数据清空。

			
		

	



                

            
              



	

		

			

				
					
第⑫讲：Ceph集群OSD扩缩容中Reblanceing数据的重分布

				
			

			

				

					江晓龙的博客
				

				

					04-09
					
					1242
					
				

			

		

		

			
				
在实际生产环境中，如果PG中的数据量非常大，在触发Reblanceing机制时，会对集群的性能有所影响，如果一次性增加很多个OSD节点，那么就意味着会有大量的PG被移动，此时就会对集群的性能产生巨大的影响，因此建议，每次在扩容OSD时，只扩容一个OSD。在扩容前集群有两个OSD节点，这两个OSD中分布着十个PG，扩容后，集群中有三个OSD节点，此时就会触发Reblanceing数据重分布机制，将原有的两个OSD中的一部分PG移动到第三个OSD中，使的每个OSD中的PG数量均衡。

			
		

	



              


  
              

                


	

		

			

				
					
【ceph】pg状态不正常，Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded

				
			

			

				

					zerotoall的博客
				

				

					01-04
					
					1694
					
				

			

		

		

			
				
【ceph】pg状态不正常，Degraded data redundancy: 460/77222938 objects degraded (0.001%), 11 pgs degraded
根据信息，Ceph 集群的健康状态显示为HEALTH_WARN，并且存在数据冗余度降低的警告。具体的警告信息是：460/76950244 个对象降级（0.001%），11 个降级的 PG（Placement Group），20 个大小不足的 PG。

警告信息中提到了一些pg（Placement Group）被标

			
		

	





	

		

			

				
					
CEPH相关报错解决

				
			

			

				

					weixin_45724795的博客
				

				

					03-31
					
					2129
					
				

			

		

		

			
				
文章目录报错一报错二ceph初始monitor(s)报错解决
报错一
[root@ct ceph]# ceph -s
  cluster:
    id:     dfb110f9-e0e0-4544-9f13-9141750ee9f6
    health: HEALTH_WARN
            Degraded data redundancy: 192 pgs undersized
...

			
		

	



		

			
		



	

		

			

				
					
【ceph】OSD-基本存储单元

					
最新发布

				
			

			

				

					qq_42853133的博客
				

				

					10-14
					
					569
					
				

			

		

		

			
				
OSD 是 Ceph 的基本存储单元，负责对象的存储、检索和数据副本的管理。每个 OSD 进程通常对应于存储集群中的一个物理或虚拟存储设备（如硬盘或 SSD）。OSD 是 Ceph 的关键组成部分，负责对象的存储、管理和复制。通过多个 OSD 共同协作，Ceph 能够提供高可用性、可扩展性和容错能力，适用于各种存储需求。

			
		

	





	

		

			

				
					
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项

				
			

			

				

					zerotoall的博客
				

				

					12-07
					
					1067
					
				

			

		

		

			
				
【ceph】ceph生产常见操作之一---ceph扩容以及注意事项
扩容过程主要分为4步（文档有具体描述）：
（1）业务规模的评估
（2）扩容前的准备工作（包括环境的检查，pg数的计算，pg分布的统计）
（3）扩容过程中的故障处理（mon、osd进程故障，pg状态异常故障）
（4）扩容完的收尾动作（统计pg的分布图，调节迁移的速度等）
二、迁移过程中的状态详解
Remapped、backfill等
三、迁移速度调整

			
		

	





	

		

			

				
					
【ceph】在虚拟环境中需要给osd所在的虚拟盘扩容操作

				
			

			

				

					zerotoall的博客
				

				

					01-12
					
					1456
					
				

			

		

		

			
				
【ceph】在虚拟环境中需要给osd所在的虚拟盘扩容操作
一、正常lv扩容操作
lvextend -L +2G mylv

二、lv正常扩容之后，只是系统同步了盘大小，而osd并没有同步，还需要进行osd同步
sudo ceph-bluestore-tool --path  --dev-expand


			
		

	





	

		

			

				
					
Ceph节点扩容

				
			

			

				

					BaXinFang的博客
				

				

					02-18
					
					753
					
				

			

		

		

			
				
ceph横向扩容与纵向扩容；
在线环境与离线环境；
包含扩容mgr、mds、mon节点操作。

			
		

	





	

		

			

				
					
ceph集群扩容

				
			

			

				

					weixin_54413274的博客
				

				

					12-18
					
					953
					
				

			

		

		

			
				
在运行ceph-deploy工具的monitor节点上，把/etc/ceph/ceph.bootstrap-osd.keyring文件内容拷贝到所有monitor节点的/var/lib/ceph/bootstrap-osd目录下新建ceph.keyring文件。[root@osd主机 ceph]#chown ceph:ceph /var/lib/ceph/bootstrap-osd/ceph.keyring。登录新OSD主机,检查osd编号，其关联的文件系统，block.db，block.wal。

			
		

	





	

		

			

				
					
第二课 ceph基础学习-OSD扩容换盘和集群运维

				
			

			

				

					QnHyn
				

				

					10-19
					
					2202
					
				

			

		

		

			
				
osd扩容还盘和集群运维

			
		

	





	

		

			

				
					
ceph osd 迁移方案

				
			

			

				

					Terry Tsang
				

				

					04-15
					
					815
					
				

			

		

		

			
				
说明
参考
ceph mon 扩容缩容步骤
ceph mgr 在线迁移 (扩容 缩容)
目标

ceph 集群迁移

原理

所有 ceph client, ceph osd, ceph mgr 角色启动时需要连接 ceph mon
在 ceph osd 工作过程中， 都需要与 ceph mon 进行沟通
因此整个 ceph 集群迁移过程中， 需要确保 ceph mon 完成安全迁移即可

方案一
分批迁移
思路

保证当前 ceph 集群可用，在线
确保当前以机柜方式进行 crush map 划分
确保当

			
		

	





	

		

			

				
					
Ceph入门到精通-更换osd、扩容osd

				
			

			

				

					隔壁老瓦的专栏
				

				

					02-19
					
					1004
					
				

			

		

		

			
				
【代码】Ceph入门到精通-更换osd、扩容osd。

			
		

	





	

		

			

				
					
ceph mgr 在线迁移 (扩容 缩容)

				
			

			

				

					Terry Tsang
				

				

					04-15
					
					444
					
				

			

		

		

			
				
目的

对 mgr 服务进行扩容缩容
为了进行新机房迁移转呗

前提
参考 ceph mon 迁移步骤  已经完成了 ceph mon 迁移
步骤

新增 mgr
删除旧机房 mgr 即可





角色
主机名
IP




旧 mgr
ns-storage-020103
1.1.20.103


旧 mgr
ns-storage-020104
1.1.20.104


旧 mgr
ns-storage-020105
1.1.20.105


新 mgr
ns-storage-020050
1.1.20.

			
		

	





	

		

			

				
					
Ceph集群扩容

				
			

			

				

					wenqing_ruyu的博客
				

				

					07-11
					
					1476
					
				

			

		

		

			
				
Ceph集群扩容

			
		

	





	

		

			

				
					
Ceph集群扩容及数据再均衡原理分析

				
			

			

				

					李姓门徒
				

				

					05-14
					
					974
					
				

			

		

		

			
				
用户文件在Ceph RADOS中存储、定位过程大概包括：用户文件切割成对象、对象映射到PG、PG分组PGP、PG映射到OSD。这些过程中，可能涉及了大量概念和变量，而其实它们大部分是通过HASH、CRUSH等算法计算出来的，初始参数可能也就只有这么几个：用户文件inode、layout、crush_map等。Ceph所有组件和客户端通过计算就能得到所有对象的Location，而且只要输入的参数信息不变，Location就不会变，另外通过PG作为中间层将对象与OSD解绑，使得对象在Ceph RADOS分布更均

			
		

	





	

		

			

				
					
ceph 添加osd 扩容

				
			

			

				

					weixin_30318645的博客
				

				

					07-17
					
					709
					
				

			

		

		

			
				
注1：如果是在已有的osd节点加盘扩容
Step1: 登录到admin节点，切换到/root/ceph-deploy
Step2: ceph-deploy disk list node-131 #查看新加节点为node-131的盘符信息
Step3: ceph-deploy disk zap node-131:sdb #格式化sdb盘
Step4: ceph-deploy ...

			
		

	





	

		

			

				
					
针对ceph扩容

				
			

			

				

					求知若渴，虚心若愚。
				

				

					02-17
					
					305
					
				

			

		

		

			
				
针对ceph扩容
rbd info kubernetes-dynamic-pvc-96158be8-c82b-11eb-8955-fefcfe06245a
rbd status kubernetes-dynamic-pvc-96158be8-c82b-11eb-8955-fefcfe06245a
查询使用的rbd
df -h |grep kubernetes-dynamic-pvc-96158be8-c82b-11eb-8955-fefcfe06245a
rbd disk-usage kubernetes-

			
		

	





	

		

			

				
					
Ceph分布式存储系列（三）：Ceph集群在线扩容及OSD相关命令

				
			

			

				

					97运维的博客
				

				

					10-23
					
					2302
					
				

			

		

		

			
				
Ceph集群新增服务器实现扩容；
Ceph集群新增硬盘添加OSD实现扩容；
Ceph集群删除OSD及相关命令；
Ceph集群LVM格式OSD遗留数据删除。

			
		

	





	

		

			

				
					

                                CEPH 添加OSD操作
    

				
			

			

				

					weixin_34348174的博客
				

				

					09-14
					
					419
					
				

			

		

		

			
				
[talen@ceph_admin ~]$ ceph-deploy osd prepare ceph_monitor:/osd 
[ceph_deploy.conf][DEBUG ] found configuration file at: /home/talen/.cephdeploy.conf
[ceph_deploy.cli][INFO...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值