每个pool pg数计算

最新推荐文章于 2024-04-18 18:01:32 发布
最新推荐文章于 2024-04-18 18:01:32 发布
阅读量441 收藏 3
点赞数
原文链接：http://www.cnblogs.com/flytor/p/11425363.html
版权

ceph PGs per Pool Calculator

原文档：http://xiaqunfeng.cc/2017/09/18/ceph-PGs-per-Pool-Calculator/

2017-09-18

根据集群相关信息计算每个pool的pg数量。

在前一篇文章too-many-PGs-per-OSD中，简单讲了pg数目的设定，这里再深入介绍一下计算方法。

计算PG Count的公式

1
PoolPGCount=(TargetPGsPerOSD ∗ OSDNumber ∗ DataPercent) / PoolReplicateSize

参数

参数名称参数释义备注
PoolPGCount该pool的PG数量 
TargetPGsPerOSD每个OSD的PG数量该值根据如下规则来进行设置：
1. 如果未来集群的OSD数量基本不再增长，Target PGs per OSD =100 
2. 如果未来集群的OSD数量可能增长到目前规模的2倍以内，Target PGs per OSD =200
3. 如果未来集群的OSD数量增长规模大于当前2倍且小于3倍，Target PGs per OSD =300
OSDNumberOSD数目默认是所有的OSD, 具体看OSD所属的rule
一般会通过CRUSH rules划分SSD和SATA两个ruleset，此时单独填写pool所在的对应rule的OSD数量
DataPercent该pool占用所在OSD集群容量百分比需要预估
PoolReplicateSize该pool的副本数replicate size，默认是3
如果是EC pool，该值为 m+n

结果取值

1、如果上述计算结果小于 OSDNumber/PoolReplicateSize ，那就使用值 OSDNumber/PoolReplicateSize 。这是为了确保每个Pool的每个OSD至少分配一个Primary或Secondary PG来确保均匀加载/数据。

2、计算的最终结果应该是与计算结果相邻的2的幂次方。

采用2的幂次方是因为了提高CRUSH算法的效率

3、如果结果超过较小2次幂数值的25%则选择较大的2次幂作为最终结果，反之则选择较小的那个2次幂数值。

目的

1、计算公式的目的是为了确保整个集群拥有足够多的PG从而实现数据均匀分布在各个OSD上，同时能够有效避免在Recovery 和Backfill 的时候因为PG/OSD比值过高所造成的问题。

2、如果集群中存在空pool或者其他non-active的pool，这些pool并不影响现有集群的数据分布，但是这些pool仍然会消耗集群的内存和CPU资源。

官网参考信息：http://ceph.com/pgcalc/

转载于:https://www.cnblogs.com/flytor/p/11425363.html

diyuan8262
关注
第⑯讲：Ceph集群Pool资源池管理以及PG的数据分布的核心技术要点
江晓龙的博客
04-23 1931
如果一个Pool资源池中的PG数量很多，就意味着会通过CRUSH算法将Object数据分散写入到更多的OSD中，数据分散存储在OSD的数量越多，对于数据的安全性就越高，相反，如果Pool中的PG数量过少，那么通过CRUSH算法将数据分散存储到OSD的数量就越少，数据的丢失概率就会很高。在使用公式计算PG的数量时，建议使用OSD*200，可以方便后期的数据量的扩展，随着数据量的增长，PG的数量也需要增长，如果一开始设置的数量很多，再后期就不需要扩容了。例子：集群有200个OSD，Pool资源池的副本数为3。
Ceph实战（十）：Pool与PG的说明以及Ceph的IO流程
码农飞哥
12-27 2847
本文首先对存储池(pool)做了一个基本介绍，存储池是Ceph存储数据时的逻辑分区，每个pool内部都包含一定数量的PG，接着对PG（Placement Group）做了一个介绍，PG中文名是归置组的意思，可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射多个OSD上。接着介绍了Ceph的IO流程图。其流程有七步，再介绍了Ceph IO算法流程，其流程主要是三步映射。最后，介绍了Ceph操作Pool的常用命令。
ceph pg计算
pansaky的博客
12-17 6507
官网原文：https://ceph.com/pgcalc/ Ceph PGs per Pool Calculator   Instructions Confirm your understanding of the fields by reading through the Key below. Select a "Ceph Use Case" from the drop down me...
【ceph】存储池pool的pg数量的计算和规划_ceph pg数量，软件测试初级面试题2024
2401_84263282的博客
04-13 598
请注意，这个二的幂规则是针对每个池的；如果您的 OSD 超过 50 个，我们建议每个 OSD 使用大约 50-100 个 PG，以平衡资源使用、数据持久性和数据分布。正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！接下来，检查生成的基线值是否与您设计 Ceph 集群的方式一致，以最大限度地提高数据持久性和对象分布并最大限度地减少资源使用。这里的池大小要么是复制池的副本数量，要么是纠删码池的 K+M 总和。
ceph 获取每个osd上pg的数量
BigTiger的博客
06-03 5616
Get the PG distribution per osd in command line : ceph pg dump | awk ' /^pg_stat/ { col=1; while($col!="up") {col++}; col++ } /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTAR
PG数量的预估
weixin_44389885的博客
12-12 448
PG数量的设置牵扯到数据分布的均匀性问题。 预设Ceph集群中的PG数至关重要，公式如下: （**结果必须舍入到最接近2的N次幂的值)** PG 总数 = (OSD 数 * 100) / 最大副本数 集群中单个池的PG数计算公式如下：(**结果必须舍入到最接近2的N次幂的值)** PG 总数 = (OSD 数 * 100) / 最大副本数 / 池数 PGP是为了实现定位而设计的...
获取指定 ceph pool上 PG 分布
zd147896325的博客
12-11 1413
前言 尽管ceph可以提供出多个pool，很多情况下，客户的所有的业务数据位于一个pool内。这种情况下，主要使用的pool的PG分布是否均匀，就决定了各个OSD的使用是否均匀。 CRUSH算法让PG均匀地分布在各个OSD上，但这仅仅是概率上的平均，实际使用中，经常发生不均匀的情况，甚至出现非常不均匀的情况。 我们以pg_num = 1024的双副本pool为例，对于该pool，一共有2048个PG，这2048个PG分布在OSD上。如果Pool中有10个OSD，那么平均每个OSD应该分到204～205
【ceph】存储池pool的pg数量的计算和规划_ceph pg数量，2024年最新阿里+头条+腾讯等大厂软件测试笔试题目分享
最新发布
2401_84264468的博客
04-18 378
如果您的 OSD 超过 50 个，我们建议每个 OSD 使用大约 50-100 个 PG，以平衡资源使用、数据持久性和数据分布。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！接下来，检查生成的基线值是否与您设计 Ceph 集群的方式一致，以最大限度地提高数据持久性和对象分布并最大限度地减少资源使用。这里的池大小要么是复制池的副本数量，要么是纠删码池的 K+M 总和。该值应向上舍入到最接近的 2 的幂。
pg数计算公式（新，翻译官网）
a1454927420的博客
01-17 3656
pg数=( Target PGs per OSD ) x ( OSD # ) x ( %Data )  /   ( Size ) Target PGs per OSD : 表示预计osd个数，                                           1，假如osd数，以后不会增加，那这个值是100                        
Ceph之PG数调整
weixin_30252709的博客
11-22 844
1. PG介绍 PG, Placement Groups。CRUSH先将数据分解成一组对象，然后根据对象名称、复制级别和系统中的PG数等信息执行散列操作，再将结果生成PG ID。可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射之多个OSD上。 如果没有PG，在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的。没有PG这一层，管理海量的对象所消耗的计算资源也是...
Ceph文件系统存储
ck784101777的博客
10-26 1231
0.原理介绍　 －元数据(Metadata)： 任何文件系统中的数据分为数据和元数据 数据是指普通文件中的实际数据 元数据指用来描述一个文件的特征的系统数据（比如：访问权限，文件拥有者，以及文件数据块的分片信息） －一个文件系统是由inode和block两部分组成，效果如图所示。 inode存储文件的描述信息（metadata元数据），block中存储真正的数据。 那么对应到C...
ceph-pg-数量-设置
一束阳光
03-29 6207
ceph集群的pg非常重要，同时pg数量，也影响到集群的存储分布，那到底该如何规划pg数呢？ 一旦设置pg和pgp数量，就不需要再调整，否则会引发数据的大量迁移。如果一定要调整，请确保调整前，集群是ok状态 pg 跟 pool 关联，一个pool有多少个pg，跟osd数相关 PG和PGP数量一定要根据OSD的数量进行调整，计算公式如下，但是最后算出的结果一定要接近或者等于一个2的指数: ...
Pool 对应 PG PGP数量的计算公式(可以对pool做快照)
JackLiu16的博客
04-25 3912
Pool 对应 PG PGP数量的计算公式：  官方计算地址Total PGs = ((Total_number_of_OSD * Target PGs per OSD) / max_replication_count) / pool_countTarget PGs per OSD 通常被设置为 100 Pool是ceph存储数据时的逻辑分区，它起到namespace的作用。其他分布式存储系统，比...
【ceph相关】存储池pg计算方式
Luxf0的博客
05-31 2561
1、存储池pg数计算方法 参考官方文档说明：Ceph PGs per Pool Calculator 计算公式如下： （Target PGs per OSD）x（OSD#）x（%Data） Suggest PG Count = --------------------------------------------- （Size） 参数说明 参数 说明 备注 Su
解决too many PGs per OSD的问题
Cvd 的博客
12-26 2903
创建的pool过多或者pool指定的pg过多时处理
Ceph N的新功能：PG合并和自动调整
QTM_Gitee的博客
05-29 4907
从一开始，在Ceph中选择和调整PG数量一直是管理Ceph集群中最令人沮丧的部分之一。 选择适当资源池的指南令人困惑，来源之间不一致，并且经常被警告和例外所包围。 最重要的是，如果选择了错误的值，獭并不总是可以进行纠正，并且性能和/或稳定性会受到影响。 Nautilus之前的Ceph版本中的关键限制是，如果pg_num值太小，则总是可以增加它，但是如果它太高，则不能减小它。 不再!。在Nautilus中，池的pg_num值可以降低。更重要的是，可以启用pg autotuner，该组件允许系统自动进行任何适当
ceph的pg与pgs分析
weixin_45566022的博客
01-13 2472
1. 当pg与pgp数量一样都为6时 由下图可见： ​ pg数量为8.0~8.5总计6个，所有的object分布在这6个pg中，此时每个pg对应一个osd组合总计为6个组合类型 ​ 同时观察到pg8.0和8.4对应的组合[3,5,9]和[5,9,3]虽然osd号相同，但是排列不同，ACTING说明主osd分别对应3和5，且没有重复的主osd 2. 设置pg数量大于pgp数量 由下图可见： ​ pg数量为8.0~8.5总计6个，所有的object分布在这6个pg中，此时这6个pg对应了[3,5,9]
PG数计算
diyuan8262的专栏
08-28 673
PG数计算 原地址：http://xiaqunfeng.cc/2017/09/15/too-many-PGs-per-OSD/ ceph告警问题：”too many PGs per OSD” 的解决方法，以及pg数量的合理设定 现象 1 2 3 4 5 6 7 8 9 10 11 12 13 # ceph -s cluste...
部署Ceph分布式存储
wangshui898的专栏
05-20 1783
一、环境准备 1. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2. 关闭selinux setenforce 0 3. 关闭NetworkManager systemctl stop NetworkManager systemctl disable NetworkManager 4. 配置hosts cat >> /etc/hosts << 'EOF' ## Ceph Node 192.168.2.10
ceph pg_num 计算
05-17
其中，总 OSD 数量是指 Ceph 集群中 OSD 的总数量，OSD 的权重可以通过 ceph osd crush weight-set 命令设置，默认为 1，pool 的副本数是指数据的冗余副本数，通常设置为 2 或 3，pool 的最小大小是指每个 PG 中对象...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值