ceph -s集群报错too many PGs per OSD

原创 2017年03月17日 05:43:46

背景

集群状态报错,如下:

# ceph -s
    cluster 1d64ac80-21be-430e-98a8-b4d8aeb18560
     health HEALTH_WARN     <-- 报错的地方
            too many PGs per OSD (912 > max 300)
     monmap e1: 1 mons at {node1=109.105.115.67:6789/0}
            election epoch 4, quorum 0 node1
     osdmap e49: 2 osds: 2 up, 2 in
            flags sortbitwise,require_jewel_osds
      pgmap v1256: 912 pgs, 23 pools, 4503 bytes data, 175 objects
            13636 MB used, 497 GB / 537 GB avail
                 912 active+clean

分析

问题原因是集群osd 数量较少,在我的测试过程中,由于搭建rgw网关、和OpenStack集成等,创建了大量的pool,每个pool要占用一些pg ,ceph集群默认每块磁盘都有默认值,好像每个osd 为300个pgs,不过这个默认值是可以调整的,但调整得过大或者过小都会对集群的性能产生一定影响。因为我们这个是测试环境,只要能消除掉报错即可。查询当前每个osd下最大的pg报警值:

$ ceph --show-config  | grep mon_pg_warn_max_per_osd

mon_pg_warn_max_per_osd = 300

解决方案

在配置文件中,调大集群的此选项的告警阀值;方法如下,在mon节点的ceph.conf(/etc/ceph/ceph.conf)配置文件中添加:

$ vi /etc/ceph/ceph.conf
[global]
.......
mon_pg_warn_max_per_osd = 1000

重启monitor服务:

$ systemctl restart ceph-mon.target

再次查看ceph集群状态。

$ ceph -s

cluster 1d64ac80-21be-430e-98a8-b4d8aeb18560
 health HEALTH_OK
 monmap e1: 1 mons at {node1=109.105.115.67:6789/0}
        election epoch 6, quorum 0 node1
 osdmap e49: 2 osds: 2 up, 2 in
        flags sortbitwise,require_jewel_osds
  pgmap v1273: 912 pgs, 23 pools, 4503 bytes data, 175 objects
        13636 MB used, 497 GB / 537 GB avail
             912 active+clean

“`

版权声明:文章欢迎转载,但请注明出处。 https://blog.csdn.net/styshoo/article/details/62722679

解决too many PGs per OSD的问题

当一个集群中创建的pg个数过多时(创建的pool过多或者pool指定的pg过多),Mon就会报出如下警告: $ ceph -s cluster 27d39faa-48ae-4356-a8e3...
  • scaleqiao
  • scaleqiao
  • 2016-03-04 17:47:25
  • 6424

解决 ceph warn: pool <pool name> has too few pgs

ceph warn: pool has too few pgs
  • ygtlovezf
  • ygtlovezf
  • 2017-03-07 19:58:34
  • 2779

openstack 与 ceph (osd 部署)

OSD 部署 (ceph-0.8.17) 目标 ceph 节点中, 每个磁盘(10块) 创建独立 Raid0 每个磁盘创建独立对应 OSD 创建CEPH 集群 CEPH...
  • signmem
  • signmem
  • 2015-07-24 10:41:26
  • 2189

Ceph 集群状态监控细化

需求 在做Ceph的监控报警系统时,对于Ceph集群监控状态的监控,最初只是简单的OK、WARN、ERROR,按照Ceph的status输出来判断的,仔细想想,感觉这些还不够,因为WARN、ERROR...
  • ygtlovezf
  • ygtlovezf
  • 2017-12-05 15:24:21
  • 842

ceph PG数 告警

1. ceph warnhealth HEALTH_WARN too many PGs per OSD (512 > max 300)vi /etc/ceph/ceph.conf添加 mon_pg_w...
  • u010953692
  • u010953692
  • 2017-09-07 09:38:27
  • 204

ceph -s集群报错too many PGs per OSD

背景集群状态报错,如下:# ceph -s cluster 1d64ac80-21be-430e-98a8-b4d8aeb18560 health HEALTH_WARN ...
  • styshoo
  • styshoo
  • 2017-03-17 05:43:46
  • 1010

ceph优化

ceph性能优化
  • qq_15983061
  • qq_15983061
  • 2017-12-27 16:03:01
  • 94

ceph 故障分析(backfill_toofull)

目的 分析并解决 backfill_toolfull 故障 前提 执行了 ceph 扩容 出现下面故障信息 # ceph -s cluster xxx...
  • signmem
  • signmem
  • 2015-12-21 16:49:32
  • 4052

ceph部署时错误分析

执行ceph-deploy install ceph01 ceph02 ceph03时报错解决办法: 经过查询方知道是由于网络慢的原因导致的 可现在ceph02、ceph03节点安装上cephap...
  • qq_36357820
  • qq_36357820
  • 2017-11-09 17:46:32
  • 115

配置Ceph为openstack后端

给nova,cinder-volume/cinder-backup,glance配置Ceph作为后端。
  • youyume20
  • youyume20
  • 2016-01-24 17:32:05
  • 3436
收藏助手
不良信息举报
您举报文章:ceph -s集群报错too many PGs per OSD
举报原因:
原因补充:

(最多只允许输入30个字)