Ceph RGW中各Pool的作用

最新推荐文章于 2022-06-06 10:19:01 发布
最新推荐文章于 2022-06-06 10:19:01 发布
阅读量2k 收藏 5
点赞数
文章标签： ui json swift
原文链接：https://my.oschina.net/myspaceNUAA/blog/692628
版权

Ceph RGW中各Pool的作用

1.引言

在使用Ceph的radosgw服务时，会通过create pool命令创建一系列的pool，服务于radosgw.我想在本文中分析出各个pool的作用。

2.pool信息罗列

POOLS:
NAME                              ID     USED       %USED     MAX AVAIL     OBJECTS   
.rgw.root                         18       4375         0        19575G             7 
.rgw                              19       8559         0        13050G            43 
.rgw.control                      20          0         0        19575G             9 
.rgw.gc                           21          0         0        19575G            76 
.rgw.buckets                      22          0         0        19575G             0 
.rgw.buckets.index                23          0         0        25849G          2048 
.log                              24          0         0        19575G           180 
.intent-log                       25          0         0        19575G             0 
.usage                            26          0         0        19575G             0 
.users                            27         74         0        19575G             6 
.users.email                      28          0         0        19575G             0 
.users.swift                      29         52         0        13050G             4 
.users.uid                        30       2847         0        19575G            12

上文罗列了所有默认的rgw工作所需要的pool信息，我在此处说明各自功用。

3.region及zone信息管理

在.rgw.root中，存放的是集群命名空间信息。我使用默认配置。应用上可以配置集群的region, zone信息，并使用radosgw-agent实现region中zone之间的信息同步。这是顶层的划分。

[root@ceph4 ~]# rados -p .rgw.root ls
zone_info.main
region_map
default.region
region_info.default
zone_info.default
region_info.

可以通过如下命令获取region,zone信息，也可以编辑配置文件，重新设置。

radosgw-admin region get >> region.conf.json
radosgw-admin zone get >> zone.conf.json
radosgw-admin region set << region.conf.json
radosgw-admin zone set << zone.conf.json

一般使用无需修改，系统会有默认设置。只要在为用户设置独立的placement策略的时候需要修改。

4.用户管理

创建S3用户后才可以进行数据读写。通过radosgw-admin user create命令指定用户名及用户ID，生成accesskey, secretkey, 借助这两个key,和radosgw建立连接，执行创建、删除bucket, 上传下载删除对象等操作。

在.users.uid中可以看到创建用户时的指定uid信息，在.users中可以看到用户的accesskey信息。.users.email中应该是用户的email信息，但是我在创建用户时没有指定，所以内容为空。

[root@ceph4 ~]# rados -p .users.uid ls
app
app-download
[root@ceph4 ~]# rados -p .users ls
5HJ1G*****84FKIQY15W
CE4R2*****AZWHS2MRQ5
[root@ceph4 ~]# rados -p .users.email  ls

5.BUCKET管理

在.rgw中，通过命令可以看到BUCKET名称及其编号

[root@ceph4 ~]#rados -p .rgw ls
down-update.app.com
.bucket.meta.down-update.app.com:default.8172.22
.bucket.meta.down.app.com:default.8157.4
down.app.com

6.BUCKET实际数据存储

在我对用户信息进行个性化配置时，配置了某个用户的数据使用哪个index pool 和data pool。 在我的集群中有如下两个pool

.rgw.buckets.app.download           17     1890G      1.69        30956G      802808 
.rgw.buckets.app.download.index     18         0         0        22283G          40

这两个POOL是我为了某个特定业务专门创建出来，分别用于存放BUCKET index信息以及BUCKET data信息。那这里面放了哪些BUCKET，这个信息可以从.rgw中看出一些端倪。

6.1 INDEX信息

我对INDEX POOL中的object信息做了一个整理，可以发现，每个都是8个一组，原因是在设置INDEX的shard num为8，所以每一个BUCKET的INDEX对应8个dir。

.dir.default.8871.2.0
.dir.default.8871.2.1
.dir.default.8871.2.2
.dir.default.8871.2.3
.dir.default.8871.2.4
.dir.default.8871.2.5
.dir.default.8871.2.6
.dir.default.8871.2.7

.dir.default.8172.22.0
.dir.default.8172.22.1
.dir.default.8172.22.2
.dir.default.8172.22.3
.dir.default.8172.22.4
.dir.default.8172.22.5
.dir.default.8172.22.6
.dir.default.8172.22.7

.dir.default.8157.4.0
.dir.default.8157.4.1
.dir.default.8157.4.2
.dir.default.8157.4.3
.dir.default.8157.4.4
.dir.default.8157.4.5
.dir.default.8157.4.6
.dir.default.8157.4.7

.dir.default.8865.1.0
.dir.default.8865.1.1
.dir.default.8865.1.2
.dir.default.8865.1.3
.dir.default.8865.1.4
.dir.default.8865.1.5
.dir.default.8865.1.6
.dir.default.8865.1.7

这个地方要研究的是，每个dir对象，对应的是哪一个BUCKET。在上文中我们在.rgw中看到如下信息

.bucket.meta.down-update.app.com:default.8172.22
.bucket.meta.down.app.com:default.8157.4

BUCKET:down-update.app.com 对应的编号为 default.8172.22 bUCKET:down.app.com对应编号是：default.8157.4

通过这个，我们就可以将BUCKET信息和INDEX中的dir信息关联起来。

下面我要研究的是，INDEX信息里面究竟放的是什么

rados -p .rgw.buckets.app.download.index listomapvals

其中存放的都是这些信息
cf/ts/tcls_verify/600/rez/UI/Achieve/Mark/23x26/S_COMBAT_Base_11_4.tga
value: (258 bytes) :
0000 : 08 03 fc 00 00 00 46 00 00 00 63 66 2f 74 73 2f : ......F...cf/ts/
0010 : 74 63 6c 73 5f 76 65 72 69 66 79 2f 36 30 30 2f : tcls_verify/600/
0020 : 72 65 7a 2f 55 49 2f 41 63 68 69 65 76 65 2f 4d : rez/UI/Achieve/M
0030 : 61 72 6b 2f 32 33 78 32 36 2f 53 5f 43 4f 4d 42 : ark/23x26/S_COMB
0040 : 41 54 5f 42 61 73 65 5f 31 31 5f 34 2e 74 67 61 : AT_Base_11_4.tga
0050 : da 01 00 00 00 00 00 00 01 04 03 69 00 00 00 01 : ...........i....
0060 : 89 06 00 00 00 00 00 00 f3 ec 52 57 00 00 00 00 : ..........RW....
0070 : 20 00 00 00 32 37 38 30 36 62 33 61 65 65 38 61 :  ...27806b3aee8a
0080 : 39 37 33 62 37 38 34 61 30 64 36 35 66 65 32 39 : 973b784a0d65fe29
0090 : 37 61 63 38 10 00 00 00 74 65 6e 63 65 6e 74 2d : 7ac8....tencent-
00a0 : 64 6f 77 6e 6c 6f 61 64 10 00 00 00 74 65 6e 63 : download....tenc
00b0 : 65 6e 74 2d 64 6f 77 6e 6c 6f 61 64 00 00 00 00 : ent-download....
00c0 : 89 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 : ................
00d0 : 01 01 04 00 00 00 11 82 da 01 82 9c 35 13 00 00 : ............5...
00e0 : 00 64 65 66 61 75 6c 74 2e 38 31 36 30 2e 31 35 : .default.8160.15
00f0 : 33 33 36 31 00 00 00 00 00 00 00 00 00 00 00 00 : 3361............
0100 : 00 00                                           : ..

这些二进制对应的信息其实是这样的格式。 包含了文件的KEY,owner, owner_display_name, size, time, etag等内容。

#radosgw-admin bucket list --bucket=down.app.com  
{
        "name": "cf\/full\/CrossFire_OBV231_Full.exe",
        "instance": "",
        "namespace": "",
        "owner": "app-download",
        "owner_display_name": "app-download",
        "size": 1564956326,
        "mtime": "2016-06-04 17:31:01.000000Z",
        "etag": "f71cd24f5ca7d661a4c44faed925fa80-100",
        "content_type": "",
        "tag": "default.8193.647053",
        "flags": 0
    }

6.2 数据信息

.rgw.buckets.zj.app中存放的是实际数据，通过ls命令可以看到对象的oid信息，通过这些OID以及CRUSHMAP算法，可定位到对象所在的物理位置。从而进行文件读写。 部分示例信息 从中可以看到所属BUCKET的编号信息（default.8154.4）即OID信息。

[root@ceph4 ~]# rados -p .rgw.buckets.app.download ls | grep CrossFire_OBV354_Full.exe
default.8157.4__shadow_cf/full/CrossFire_OBV354_Full.exe.2~4VZa_ly8gX76_AMjDB2UCXC_0FpFG8r.96_2
default.8157.4__shadow_cf/full/CrossFire_OBV354_Full.exe.2~4VZa_ly8gX76_AMjDB2UCXC_0FpFG8r.145_3
.....

7.集群资源使用情况

集群使用情况氛围两种，一种是集群整体使用情况，一种是单个BUCKET的使用情况。 整体使用情况可以通过ceph df命令看到各POOL的使用情况。但是单个BUCKET的使用情况要用如下命令 其中包含了BUCKET的使用统计情况以及对象数量。这些信息就是存放在.usage pool中。

[root@ceph4 ]# radosgw-admin bucket stats --bucket=down.app.com

 "usage": {
        "rgw.main": {
            "size_kb": 1837686079,
            "size_kb_actual": 1838258768,
            "num_objects": 262774
        },
        "rgw.multimeta": {
            "size_kb": 0,
            "size_kb_actual": 0,
            "num_objects": 13
        }
    },

8 .资源删除

在我们删除文件时，并不是立刻删除文件，而是先标记文件删除，根据配置文件的设置参数，进行异步删除，在.rgw.gc中记录的就是文件的待删除任务。 关于Ceph中的任务删除详细信息，可以参考Ceph radosgw gc 的处理过程

说明

.log .intent-log内部的内容，我还没有完全搞清楚，待补充。

转载于:https://my.oschina.net/myspaceNUAA/blog/692628

chitun9294
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ceph入门到精通-Ceph如何扩展到超过十亿个对象？
隔壁老瓦的专栏
04-21 1154
直到7个RGW实例，我们才注意到资源饱和，因此我们将RGW实例扩展到14个，从而使RGW实例增加了一倍，并观察到HTTP PUT工作负载的性能下降，这归因于设备饱和，而HTTP GET性能则向上扩展并达到4.5万个，如果我们添加更多的Ceph OSD节点，写性能可能会更高。如图2所示，与7个 RGW测试相比，14 RGW测试的写入性能提高了 14%，最高达到了6.3GBps，类似地，HTTP GET工作负载显示的读取性能提高了16%，最高达到6.5GBps。图2显示了平均读取延迟，以毫秒为单位(蓝线)。
Ceph分布式存储：资源池Pool的管理与MDS、RBD、RGW接口的部署
m0_74170357的博客
10-16 1429
Pool 数据池/资源池/存储池，可理解成一个存放PG的命名空间一个Pool可以多个PG不同Pool的PG可以同名CephFS（Ceph文件系统）是Ceph存储集群中用于支持分布式文件存储的组件。MDS（Metadata Server）是CephFS的元数据服务器，它负责管理文件系统的元数据，包括目录结构、文件属性和权限等信息。CephFS的MDS接口提供了用户与Ceph存储集群中的元数据服务器进行交互的方式，实现对分布式文件系统的访问和管理。
radosgw 各个pool作用及联系
dengxiafubi的博客
08-11 3255
1. 列出所有存储池 [root@node-1 ~]# rados lspools rbd .rgw.root default.rgw.control default.rgw.data.root default.rgw.gc default.rgw.log default.rgw.users.uid default.rgw.users.keys default.rgw.user
一文读懂CEPH RGW基本原理
shichungang的博客
06-07 6879
一文读懂CEPH RGW基本原理。本文从RGW的基本原理出发，从整体上描述RGW的框架结构，突出关键结构之间的关联关系，从基础代码分析关键环节的实现细节，以达到清晰说明RGW模块“骨架”的效果。
Ceph 工作原理详解
因上努力，果上随缘。但行好事，莫问前程。
06-06 3373
目录 一、Ceph概述 1.1 RADOS逻辑架构 1.2 OSD逻辑结构 1.2 Ceph 基本组件 1.4Ceph存储过程 (Ceph IO算法流程) 1.5Ceph集群 1.6Ceph特点 1.7Ceph架构 1.8Ceph核心组件及概念✌️✌️ 二、三种存储类型 2.1 块存储 rbd 2.2 文件存储 fs 2.3 对象存储 rgw 三、Ceph IO流程及数据发布 3.1 正常io流程图 3.2 新主io流程图 3.3 Ceph IO算法流程 3.....
rgw分片上传对象组织形式
pyrl的博客
04-28 1888
定位rgw分片上传的对象 version:ceph13.2.4 确定分片上传的全部对象 利用s3cmd向mpbucket01上传了一个名为2.txt的对象(210M) 1.首先确定bucket的bucketindex [root@sns-nvceph01 ~]# radosgw-admin bucket stats | grep mpbucket01 -A 50 "bucket":...
RGW 的GC深入解析与调优
06-20
每个 GC worker 启动的时候都会有一个数字 ID 标识，这个 ID 其实就是对应到 gc pool 里面的 Object 的 ID 名称，GC 的任务列表就存储在每个 gc pool 里面对应的 Object 的 omap 中。 GCworker 的随机选择算法： ...
Ceph学习笔记2-在Kolla-Ansible中使用Ceph后端存储
10-31
其中`rgw.root`等是Ceph自带的对象存储相关Pool，而我们创建的`images`、`volumes`等Pool也清晰地显示出来。 #### 用户权限配置 在Ceph中，用户权限是非常重要的安全措施。每个用户都有一个密钥，这个密钥是用于...
ceph集群搭建.docx
02-09
它可以提供块存储（RBD）、对象存储（RGW）和文件系统存储（CephFS）服务，适用于各种场景。在OpenStack中，CEPH作为主流后端存储被广泛应用，随着云计算的发展，其重要性日益凸显。国内一些知名公司，如x-sky、深圳...
ceph常用操作和故障排查.rar
最新发布
03-19
在IT行业中，Ceph是一个广泛使用的开源分布式存储系统，它为用户提供对象存储、块存储和文件存储服务。本文将深入探讨Ceph的常用操作以及如何进行故障排查，以帮助管理员更好地管理和维护Ceph集群。 首先，了解Ceph...
ceph常用操作和故障排查.pdf
06-07
- RGW（RADOS Gateway）：Ceph对象存储网关，提供与Ceph存储集群交互的HTTP服务器接口，提供与OpenStack Swift和Amazon S3兼容的接口，具有自己的用户管理功能。 常用操作包括： - 集群状态查看：可以使用ceph-s或...
【Ceph】Ceph-RGW基本原理
bandaoyu的note
06-10 2783
原文：https://www.sohu.com/a/120065877_468741 背景 Ceph提供了三种存储类型：块存储、文件存储和对象存储，本文主要介绍对象存储的RGW基本原理和应用场景。 RGW 1 什么是对象存储？ 对象存储(云存储)是面向对象/文件的、海量的互联网存储。对象存储里的对象是经过封装了的文件，在对象存储系统里， 不能直接打开/修改文件，但可以像ftp一样上传文件，下载文件等。另外，对象存储没有像文件系统那样有一个很多层级 的文件结构，而是只有一个“桶”的概念（也就是存储
Ceph运维笔记
weixin_42340926的博客
01-11 658
查看ceph 读写i/o最好不要通过iostat查看 因为有可能会将内容写到缓存中，从而无法获得对于的真正读写i/o 可以通过ceph dashboard来查看，也可以通过ceph -s来查看 动态获取脚本： #!/bin/bash LANG=C PATH=/sbin:/usr/sbin:/bin:/usr/bin interval=1 length=86400 for i in $(seq 1 $(expr ${length} / ${interval}));do date=`date` echo -..
Ceph RGW 创建默认的pool
12-14 618
使用Ceph-deploy完成RGW服务部署后（最好是在部署RGW服务前建立如下这些pool），使用sudo ceph osd lspools命令，会发现RGW自动以默认参数创建了N个rgw相关的pool。 然而这些pool的参数按默认是不符合要求。 因此需要重建这些pool。 步骤如下： 1. 删除Pool ： sudo ceph osd pool delete ...
RGW中pool和object应用
chuxinxia8434的博客
07-07 232
RGW抽象来看就是基于rados集群之上的一个rados-client实例。 Object和pool简述 Rados集群网上介绍的文章很多，这里就不一一叙述，主要要说明的是object和pool。在rados集群中任意一个对象都会映射为一个（pool，object）。其中pool是存储...
桶策略
QTM_Gitee的博客
10-07 862
Ceph对象网关支持应用于桶的Amazon S3策略语言的子集。 创建和删除 桶策略是通过标准S3操作而不是radosgw-admin管理的。 例如，可以使用s3cmd设置或删除策略，因此： $ cat > examplepol { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": {"AWS": ["arn:aws:iam::usfolks:user/fred:subuser"]}
ceph rgw中所使用的池子
litianze99的专栏
11-24 2343
ceph rgw中所使用的池子 $ radosgw-admin zone get {     "domain_root": ".rgw",     "control_pool": ".rgw.control",     "gc_pool": ".rgw.gc",     "log_pool": ".log",     "intent_log_pool": ".intent-l
【分析】Ceph：RGW基本原理
热门推荐
渡江客涂鸦板
06-18 1万+
Ceph提供了三种存储类型：块存储、文件存储和对象存储，本文主要介绍对象存储的RGW基本原理和应用场景。 1 什么是分布式存储 对象存储(云存储)是面向对象/文件的、海量的互联网存储。对象存储里的对象是经过封装了的文件，在对象存储系统里， 不能直接打开/修改文件，但可以像ftp一样上传文件，下载文件等。 另外，对象存储没有像文件系统那样有一个很多层级的文件结构，而是只有一个“桶”的概念（...
Ceph+RGW高可用部署方案
当你感觉累的时候，证明你正在走上坡路！
12-18 6344
基础环境准备配置主机名集群中节点采用统一命名规则即可配置hosts文件解析配置主机名与IP地址解析关系，每个配置完成后将文件拷贝到其他节点，每个节点都需要配置免秘钥登录配置ansible工具执行节点与其他节点的免秘钥登录，如果ansible执行节点也是ceph集群中的节点，也需要配置自身的免秘钥登录，配置方法不多说。Yum源配置目前使用的是阿里的源，使用起来还比较稳定，速度也还好，后期考虑把阿里源同
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值