Ceph RGW：分段上传和整体上传元数据详解

最新推荐文章于 2023-09-07 10:59:01 发布
最新推荐文章于 2023-09-07 10:59:01 发布
阅读量1.4k 收藏 5
点赞数 1
文章标签： 分布式 linux 云计算 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/easonwx/article/details/125595433
版权

文章目录

背景

Ceph的对象存储兼容s3协议，支持对象的整体上传和分段上传功能，详细可参考网上资料。本文主要是基于具体实践，观察整体上传和分段上传的差异。

本文结论

  • 关键配置
    • rgw_max_chunk_size：整体上传时使用，为对象文件拆分后第一个rados对象大小。
    • rgw_obj_stripe_size：整体上传和分段上传均使用，为对象文件拆分后每个stripe的大小。
  • 整体上传rados对象分布
rados对象size角色
{bucketid} + ‘_’ + {objectname}rgw_max_chunk_sizeheader对象，存放元数据也存放部分数据
{bucketid} + ‘_’ + ‘_shadow_’ + {objectprefix} + ‘_’ + {id}rgw_obj_stripe_size存放数据
  • 分段上传rados对象分布
rados对象size角色
{bucketid} + ‘_’ + {objectname}0header对象，存放元数据
{bucketid} + ‘_’ + ‘multipart’ + {objectprefix} + ‘_’ + {分段id}rgw_obj_stripe_size每个分段第一个对象
{bucketid} + ‘_’ + ‘_shadow_’ + {objectprefix} + ‘_’ + {分段id} + {id}rgw_obj_stripe_size每个分段其他对象

对象上传实践

环境准备

查询存储池配置rgw_max_chunk_size=2M和rgw_obj_stripe_size=8M

查询配置，其中rgw_max_chunk_size=2M，rgw_obj_stripe_size=8M。

[root@poctest_100 /data/objtest]# ceph daemon /var/run/ceph/*.asok config show | grep "rgw_obj_stripe_size\|rgw_max_chunk_size"
    "rgw_max_chunk_size": "2097152",
    "rgw_obj_stripe_size": "8388608",

创建一个bucket，名字为testbucket0

[root@poctest_100 /data/objtest]# s3cmd mb s3://testbucket0
Bucket 's3://testbucket0/' created

分段上传分析

创建一个100M的文件file_100M.bin，上传至testbucket0中，分段size为30M

[root@poctest_100 /data/objtest]# s3cmd put file_100M.bin s3://testbucket0 --multipart-chunk-size-mb=30
upload: 'file_100M.bin' -> 's3://testbucket0/file_100M.bin'  [part 1 of 4, 30MB] [1 of 1]
 31457280 of 31457280   100% in    0s    43.98 MB/s  done
upload: 'file_100M.bin' -> 's3://testbucket0/file_100M.bin'  [part 2 of 4, 30MB] [1 of 1]
 31457280 of 31457280   100% in    0s    41.81 MB/s  done
upload: 'file_100M.bin' -> 's3://testbucket0/file_100M.bin'  [part 3 of 4, 30MB] [1 of 1]
 31457280 of 31457280   100% in    0s    40.51 MB/s  done
upload: 'file_100M.bin' -> 's3://testbucket0/file_100M.bin'  [part 4 of 4, 10MB] [1 of 1]
 10485760 of 10485760   100% in    0s    30.69 MB/s  done

获取testbucket0的id

[root@poctest_100 /data/objtest]# radosgw-admin bucket stats | grep testbucket0 -A 20
        "bucket": "testbucket0",
        "num_shards": 128,
        "tenant": "",
        "zonegroup": "63a80505-8c43-43e8-b1c3-b7a600fabdfe",
        "placement_rule": "objpool0",
        "explicit_placement": {
            "data_pool": "",
            "data_tail_pool": "",
            "data_extra_pool": "",
            "index_pool": ""
        },
        "index_type": "Normal",
        "id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",  // testbucket0的id
        "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
        "index_type": "Normal",
        "owner": "admin",

查询manifest对象

bucketid = e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1
manifest对象名：{bucketid} + _ + {objectname} = e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_100M.bin

[root@poctest_100 /data/objtest]# rados -p 00000000-default.rgw.buckets.data listxattr e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_100M.bin user.rgw.manifest
user.rgw.acl
user.rgw.content_type
user.rgw.etag
user.rgw.idtag
user.rgw.manifest
user.rgw.pg_ver
user.rgw.source_zone
user.rgw.tail_tag
user.rgw.x-amz-date
user.rgw.x-amz-meta-s3cmd-attrs

[root@poctest_100 /data/objtest]# rados -p 00000000-default.rgw.buckets.data getxattr e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_100M.bin user.rgw.manifest > manifest.file_100M.bin.txt
[root@poctest_100 /data/objtest]# ceph-dencoder import 'manifest.file_100M.bin.txt' type RGWObjManifest decode dump_json
{
    "objs": [],
    "obj_size": 104857600,
    "explicit_objs": "false",
    "head_size": 0,
    "max_head_size": 0,
    "prefix": "file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR", // prefix
    "rules": [
        {
            "key": 0,
            "val": {
                "start_part_num": 1,
                "start_ofs": 0,
                "part_size": 31457280,
                "stripe_max_size": 8388608,
                "override_prefix": ""
            }
        },
        {
            "key": 94371840,
            "val": {
                "start_part_num": 4,
                "start_ofs": 94371840,
                "part_size": 10485760,
                "stripe_max_size": 8388608,
                "override_prefix": ""
            }
        }
    ],
    "tail_instance": "",
    "tail_placement": {
        "bucket": {
            "name": "testbucket0",
            "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
            "bucket_id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
            "tenant": "",
            "explicit_placement": {
                "data_pool": "",
                "data_tail_pool": "",
                "data_extra_pool": "",
                "index_pool": ""
            }
        },
        "placement_rule": "objpool0"
    },
    "begin_iter": {
        "part_ofs": 0,
        "stripe_ofs": 0,
        "ofs": 0,
        "stripe_size": 8388608,
        "cur_part_id": 1,
        "cur_stripe": 0,
        "cur_override_prefix": "",
        "location": {
            "placement_rule": "objpool0",
            "obj": {
                "bucket": {
                    "name": "testbucket0",
                    "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "bucket_id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "tenant": "",
                    "explicit_placement": {
                        "data_pool": "",
                        "data_tail_pool": "",
                        "data_extra_pool": "",
                        "index_pool": ""
                    }
                },
                "key": {
                    "name": "file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1", // 第一个分段{prefix}.1
                    "instance": "",
                    "ns": "multipart"
                }
            },
            "raw_obj": {
                "pool": "",
                "oid": "",
                "loc": ""
            },
            "is_raw": false
        }
    },
    "end_iter": {
        "part_ofs": 104857600,
        "stripe_ofs": 104857600,
        "ofs": 104857600,
        "stripe_size": 8388608,
        "cur_part_id": 5,
        "cur_stripe": 0,
        "cur_override_prefix": "",
        "location": {
            "placement_rule": "objpool0",
            "obj": {
                "bucket": {
                    "name": "testbucket0",
                    "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "bucket_id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "tenant": "",
                    "explicit_placement": {
                        "data_pool": "",
                        "data_tail_pool": "",
                        "data_extra_pool": "",
                        "index_pool": ""
                    }
                },
                "key": {
                    "name": "file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.5", // 最后一个分段{prefix}.5，共4个分段
                    "instance": "",
                    "ns": "multipart"
                }
            },
            "raw_obj": {
                "pool": "",
                "oid": "",
                "loc": ""
            },
            "is_raw": false
        }
    }
}

查看rados对象

[root@poctest_100 /data/objtest]# rados -p 00000000-default.rgw.buckets.data ls | grep "file_100M.bin"
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_100M.bin
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1_3
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1_2
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2_2
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2_1
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3_3
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2_3
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.4
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3_2
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.4_1
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1_1
e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3_1

根据观察对象size可知，对象分段为：30M (8M + 8M + 8M + 6M) + 30M (8M + 8M + 8M + 6M) + 30M (8M + 8M + 8M + 6M) + 10M (8M + 2M)，即上传时分成30M + 30M + 30M + 10M四个分段，每个30M分段根据rgw_obj_stripe_size切分成8M + 8M + 8M + 6M。

[root@poctest_100 /data/objtest]# for obj in `rados -p 00000000-default.rgw.buckets.data ls | grep "2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR"`; do rados -p 00000000-default.rgw.buckets.data stat ${obj}; done
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_100M.bin mtime 2022-07-04 11:15:45.000000, size 0
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1 mtime 2022-07-04 11:15:43.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1_1 mtime 2022-07-04 11:15:43.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1_2 mtime 2022-07-04 11:15:43.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.1_3 mtime 2022-07-04 11:15:43.000000, size 6291456
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2 mtime 2022-07-04 11:15:44.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2_1 mtime 2022-07-04 11:15:43.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2_2 mtime 2022-07-04 11:15:43.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.2_3 mtime 2022-07-04 11:15:44.000000, size 6291456
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3 mtime 2022-07-04 11:15:44.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3_1 mtime 2022-07-04 11:15:44.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3_2 mtime 2022-07-04 11:15:44.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.3_3 mtime 2022-07-04 11:15:44.000000, size 6291456
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__multipart_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.4 mtime 2022-07-04 11:15:45.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_file_100M.bin.2~ynp_RQ9m3Pevoh_CXDTcDujtdD8_4NR.4_1 mtime 2022-07-04 11:15:45.000000, size 2097152

整体上传分析

创建一个50M的文件file_50M.bin，上传至testbucket0，关闭分段

[root@poctest_100 /data/objtest]# s3cmd put file_50M.bin s3://testbucket0 --disable-multipart
upload: 'file_50M.bin' -> 's3://testbucket0/file_50M.bin'  [1 of 1]
 52428800 of 52428800   100% in    0s    53.54 MB/s  done

查询manifest对象

[root@poctest_100 /data/objtest]# rados -p 00000000-default.rgw.buckets.data listxattr e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_50M.bin user.rgw.manifest
user.rgw.acl
user.rgw.content_type
user.rgw.etag
user.rgw.idtag
user.rgw.manifest
user.rgw.pg_ver
user.rgw.source_zone
user.rgw.storage_class
user.rgw.tail_tag
user.rgw.x-amz-date
user.rgw.x-amz-meta-s3cmd-attrs

[root@poctest_100 /data/objtest]# rados -p 00000000-default.rgw.buckets.data getxattr e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_50M.bin user.rgw.manifest > manifest.file_50M.bin.txt

[root@poctest_100 /data/objtest]# ceph-dencoder import 'manifest.file_50M.bin.txt' type RGWObjManifest decode dump_json
{
    "objs": [],
    "obj_size": 52428800,
    "explicit_objs": "false",
    "head_size": 2097152,
    "max_head_size": 2097152,
    "prefix": ".-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_",
    "rules": [
        {
            "key": 0,
            "val": {
                "start_part_num": 0,
                "start_ofs": 2097152,
                "part_size": 0,
                "stripe_max_size": 8388608,
                "override_prefix": ""
            }
        }
    ],
    "tail_instance": "",
    "tail_placement": {
        "bucket": {
            "name": "testbucket0",
            "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
            "bucket_id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
            "tenant": "",
            "explicit_placement": {
                "data_pool": "",
                "data_tail_pool": "",
                "data_extra_pool": "",
                "index_pool": ""
            }
        },
        "placement_rule": "objpool0"
    },
    "begin_iter": {
        "part_ofs": 0,
        "stripe_ofs": 0,
        "ofs": 0,
        "stripe_size": 2097152,
        "cur_part_id": 0,
        "cur_stripe": 0,
        "cur_override_prefix": "",
        "location": {
            "placement_rule": "objpool0",
            "obj": {
                "bucket": {
                    "name": "testbucket0",
                    "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "bucket_id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "tenant": "",
                    "explicit_placement": {
                        "data_pool": "",
                        "data_tail_pool": "",
                        "data_extra_pool": "",
                        "index_pool": ""
                    }
                },
                "key": {
                    "name": "file_50M.bin", // 第一个分片
                    "instance": "",
                    "ns": ""
                }
            },
            "raw_obj": {
                "pool": "",
                "oid": "",
                "loc": ""
            },
            "is_raw": false
        }
    },
    "end_iter": {
        "part_ofs": 2097152,
        "stripe_ofs": 52428800,
        "ofs": 52428800,
        "stripe_size": 0,
        "cur_part_id": 0,
        "cur_stripe": 7,
        "cur_override_prefix": "",
        "location": {
            "placement_rule": "objpool0",
            "obj": {
                "bucket": {
                    "name": "testbucket0",
                    "marker": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "bucket_id": "e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1",
                    "tenant": "",
                    "explicit_placement": {
                        "data_pool": "",
                        "data_tail_pool": "",
                        "data_extra_pool": "",
                        "index_pool": ""
                    }
                },
                "key": {
                    "name": ".-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_7", // 最后一个分片
                    "instance": "",
                    "ns": "shadow"
                }
            },
            "raw_obj": {
                "pool": "",
                "oid": "",
                "loc": ""
            },
            "is_raw": false
        }
    }
}

查看rados对象

可以看到数据切分成2M + 8M + 8M + 8M + 8M + 8M + 8M。

[root@poctest_100 /data]# for obj in `rados -p 00000000-default.rgw.buckets.data ls | grep "file_50M.bin\|.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_"`; do rados -p 00000000-default.rgw.buckets.data stat ${obj}; done
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1_file_50M.bin mtime 2022-07-04 14:48:10.000000, size 2097152
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_4 mtime 2022-07-04 14:48:10.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_2 mtime 2022-07-04 14:48:10.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_6 mtime 2022-07-04 14:48:10.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_1 mtime 2022-07-04 14:48:10.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_3 mtime 2022-07-04 14:48:10.000000, size 8388608
00000000-default.rgw.buckets.data/e8392725-d4f8-4d37-940f-eb948c81c3a3.686977.1__shadow_.-ORMlsBRTV9kAJWl3GjTDqpRnZNJyxS_5 mtime 2022-07-04 14:48:10.000000, size 8388608

参考文献

《Ceph设计原理与实现》

easonwx
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ceph rgw中的元数据组织形式及存储结构分析
梦幻之巅
07-13 5324
本来不想再写Ceph相关的文章了，最近在做ceph元数据优化研究及架构，整体思路是：将rados作为数据存储引擎，构建分布式元数据集群来管理元数据，如：将rgw或者fs相关的元数据从ceph的元数据池中抽取出来，转存到分布式元数据集群中，以此达到提升单集群处理能力的目的；要达到这个目的，有两个基础条件：1.对ceph中rgw或者fs的各CURD操作原理及IO路径非常熟悉，2.对ceph中元数据的组织及存储非常熟悉；然后才能在rgw或者mds的IO路径中进行数据及元数据的分离操作，并以合适的格式将元数据转存.
ceph rgw元数据分布式改造
梦幻之巅
08-10 1670
本篇是对前面几篇ceph rgw元数据分析类文章的总结，同时整体介绍下rgw元数据分布式改造的架构以及实现逻辑 架构 看过前面"ceph rgw元数据分析"类文章的读者，应该还记得那个rgw 分层架构图，为实现元数据的分布式改造，只需要在store层新增一个存储后端，称为MetaStore，专门用来存储集群元数据（realm，zonegroup，zone等）和用户元数据（user，bucket，bucket index等）： 在实践中MetaStore有多种候选组件，如：Mysql，Mongodb，T.
ceph详细中文文档
01-16
Ceph 存储集群至少需要1 个Ceph Monitor 和2 个OSD 守护进程 运行Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
ceph RGW Multipart 上传文件过程
qq_37517281的博客
09-21 1937
REST 请求的处理 init 用户，认证，权限，桶等参数 init 操作类型相关的初始化 检查权限 检查参数 返回头上加上操作的 bucket execute complete 返回 io 的完成状态 记录日志 POST （生成 multipart 的总对象） 检查参数和操作内部权限（user_policies） 为桶的 event_type 类型的 topic 预留用于 notification 的空间 分配操作上下文，放在 ObjectWriteOperation 中 （2pc_queue_rese
ceph radosgw 对象寻址和元数据组织
ganggexiongqi的专栏
03-31 3813
1. 对象寻址 rgw对象寻址的过程就是“拼接对象串“的过程，再结合bucket.pool就能对应到rados对象。 1.1 普通对象 1.2 multipart 对象 1.3 非multipart versioned对象 1.4 multipart versioned 对象 脑补吧... 2. rgw元数据pool的作用 struct RGWZon
Ceph入门到精通-存储集群ceph df 用量统计算法说明
隔壁老瓦的专栏
09-07 1330
是 90 GiB，它是不包括复制因子（默认为三）的总大小。带有复制因子的可用的总容量为 30 GiB（90 GiB/3）。代表可用的存储（其中较小的数字）和总存储容量。因此，实际存储的数据量通常会超过名义上的存储量。例如，如果您存储 1 MB 的数据的对象，名义的使用量为 1 MB，但实际使用量可能为 3 MB 或更多。MAX AVAIL 值是使用复制或退出代码的复杂功能，即将存储映射到设备、这些设备的利用率以及配置的。在上例中，100 MiB 是在考虑了复制因子后的总可用空间。部分中的数字是估算的。
Ceph对象存储的Amazon S3接口的使用(重点介绍分片上传接口)（基于nautilus版本）
weixin_43740011的博客
05-21 1258
本文介绍了Ceph对象存储的Amazon S3接口的使用，特别是分片上传接口。希望对大家有所帮助。
Ceph RGW 对象上传源码分析
redenval的专栏
03-14 5305
RGW中OP请求处理函数的入口都是process_request，process_request会根据传入的RGWRados参数获取RGWOp，然后当请求合法性通过后去调用rgw_process_authenticated函数执行OP的具体动作。请求的处理 Collapse sourceint process_request(RGWRados* const store,              ...
s3 java 断点续传_ceph储存的S3接口实现（支持断点续传）
weixin_36252784的博客
02-28 1003
/*** Title: S3Manager* Description: Ceph储存的s3接口实现，参考文档：*https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/RetrievingObjectUsingJava.html*http://docs.ceph.org.cn/radosgw/s3/* author: ...
Java如何实现大文件分片上传,断点续传和秒传
m0_53157173的博客
10-30 3534
通俗的说，你把要上传的东西上传，服务器会先做 MD5 校验，如果服务器上有同样的东西，它就直接给你个新地址，其实你下载的都是服务器上的同一个文件，想要不秒传，其实只要让 MD5 改变，就是对文件本身做一下修改（改名字不行），例如一个文本文件，你多加几个字，MD5 就变了，就不会秒传了.分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（我们称之为 Part）来进行上传，上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。
ceph rgw应用手册
03-14
ceph rgw应用部署手册，红帽官方出品，上手必备。
Ceph优化：用SSD做缓存池方案详解.docx
10-13
Ceph优化：用SSD做缓存池方案详解
Ceph浅析：概况与设计思想
01-30
其命名和UCSC（Ceph的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。Ceph，当下已成为...
Ceph浅析：结构、工作原理及流程
03-01
自下向上，可以将Ceph系统分为四个层次：顾名思义，这一层本身就是一个完整的对象存储系统，所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的。而Ceph的高可靠、高可扩展、高性能、高自动化等等特性...
Ceph入门到精通-Ceph之对象存储网关RADOS Gateway(RGW)
隔壁老瓦的专栏
04-21 1315
当所有的分段上传结束后，RGW 会从 data_extra_pool 中的分段上传临时对象中读取各个分段信息，主要是各分段的 manifest 信息，组成一个 manifest；然后生成一个新的 RADOS 对象，即 head obj，用来保存分段上传的应用对象的元数据信息和各分段的manifest。RGW中的应用对象对应RADOS对象。应用对象上传分整体上传和分段上传，不同的上传方式应用对象对应RADOS对象的方式不同。存储桶是对象的容器，是为了方便管理和操作具有相同属性的一类对象而引入的一级管理单元。
RGW中pool和object应用
chuxinxia8434的博客
07-07 223
RGW抽象来看就是基于rados集群之上的一个rados-client实例。 Object和pool简述 Rados集群网上介绍的文章很多，这里就不一一叙述，主要要说明的是object和pool。在rados集群中任意一个对象都会映射为一个（pool，object）。其中pool是存储...
一文读懂CEPH RGW基本原理
shichungang的博客
06-07 6375
一文读懂CEPH RGW基本原理。本文从RGW的基本原理出发，从整体上描述RGW的框架结构，突出关键结构之间的关联关系，从基础代码分析关键环节的实现细节，以达到清晰说明RGW模块“骨架”的效果。
ceph存放mysql备份_Ceph RGW：数据的存储及寻址
weixin_34324006的博客
02-23 279
RGW数据分布及寻址RGW是一个对象处理网关。数据实际存储在ceph集群中。利用librados的接口，与ceph集群通信。RGW主要存储三类数据：元数据(metadata)、索引数据(bucket index)、数据(data)。这三类数据一般存储在不同的pool中，元数据也分多种元数据，存在不同的ceph pool中。1、 Metadata元数据信息包括：user，bucket，以及bucke...
ceph中的命令
qq_42533216的博客
03-02 481
# 查看bucket列表 [root@inspur02 ~]# radosgw-admin bucket list [ "test-bucket-system-4", "ccc", "database_logs", "r1-cennavi-ob", "r1-magna-ob", "alluxio-ob", "test02", "test-bucket-system-3", "r1-imp-sdk-ob", "b...
ceph rgw对象存储
最新发布
09-19
Ceph RGW（Rados Gateway）是Ceph存储系统中提供对象存储服务的组件。它允许用户通过HTTP协议以对象的形式存储和检索数据。 Ceph RGW是一个分布式的、高可用的存储解决方案，它将数据分散保存在多个物理节点上，提供了可靠的数据冗余和容错能力。通过数据的分散，RGW能够实现高并发的访问和高吞吐量的数据传输，从而满足大规模的存储需求。 在Ceph RGW中，数据以对象的形式存储，每个对象都有一个唯一的标识符和元数据信息，可以通过它们进行快速的检索和访问。对象可以以任意格式存储，如文本、图片、视频等。通过提供RESTful风格的API，RGW使得开发者能够方便地访问和操作存储在其中的对象。 RGW支持多租户的机制，可以为不同的用户或应用程序提供独立的存储空间和访问权限。它还提供了访问控制机制，可以通过身份验证、访问策略等方式，限制对象的访问权限，并保证数据的安全性。 另外，Ceph RGW还具有自动化的数据迁移和负载均衡功能，可以根据数据的访问模式和负载情况，自动调整数据的存储位置和副本数量，以实现最佳的性能和可用性。 综上所述，Ceph RGW是一款功能强大、可靠性高的对象存储服务，适用于大规模存储和分发数据的场景。它提供了高并发、高吞吐量的数据访问和传输能力，以及安全性、可扩展性等方面的优势，成为当今对象存储领域的一种重要解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值