ceph RGW Multipart 上传文件过程

最新推荐文章于 2023-06-14 21:41:59 发布
原创 最新推荐文章于 2023-06-14 21:41:59 发布 · 2.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph

本文详细解析了Ceph RGW对象存储系统中数据上传的具体流程，包括REST请求处理、不同处理器的作用及调用顺序、元数据管理、多部分上传处理等关键步骤。 
s3cmd put --multipart-chunk-size-mb=5 source/testfile s3://test-bucket/test

在这里插入图片描述

每生成一个 stripe 对象(StripeGenerator::create_begin、StripeGenerator::create_next)，就会把这个 stripe 对象绑定到 RadosWriter 上，process 链的调用顺序是 HeadObjectProcessor::process
-> StripeProcessor::process
-> ChunkProcessor::process
-> RadosWriter::process

详细函数过程：

REST 请求的处理

process_request

init 用户，认证，权限，桶等参数

init 操作类型相关的初始化

检查权限

检查参数

返回头上加上操作的 bucket

execute

complete

返回 io 的完成状态

记录日志

RGWPutObj（向对象上传数据）

  • 获取 request 中的版本

  • 生成校验 md5 码

  • 检查配额

最低0.47元/天 解锁文章
Ceph RGW：分段上传和整体上传元数据详解
easonwx的博客
07-04 2319
Ceph的对象存储兼容s3协议，支持对象的整体上传和分段上传功能，详细可参考网上资料。本文主要是基于具体实践，观察整体上传和分段上传的差异。查询配置，其中rgw_max_chunk_size=2M，rgw_obj_stripe_size=8M。 创建一个bucket，名字为testbucket0 分段上传分析 创建一个100M的文件file_100M.bin，上传至testbucket0中，分段size为30M 获取testbucket0的id 查询manifest对象 bucketid = e839
S3 client向ceph上传文件注意事项
russle的专栏
11-13 1634
众所知周，AWS S3 client功能强大，能与各类符合OSS标准的存储进行工作。本项目中刚好用到ceph，就是直接使用S3 java client上传文件。在根据ceph官网的的一些文档操作时遇到一些问题，这里记录下来，仅供遇到类似问题的网友参考。
rgw分片上传/下载分析
pyrl的博客
04-29 2040
rgw分片上传/下载分析 上传 1.客户端发送httppost请求，请求uploadid. 2.客户端收到uploadid后，按照上传不同的分片，url需要带上uploadid和分片数（partnumber）. 3.全部分片上传完成后发送http-post请求，标记上传完成. 1.请求上传 [root@sns-nvceph01 ~]# s3cmd put 111.txt s3://mpbuc...
ceph部署文档
12-27
ceph安装运维文档，以及调用java代码 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
ceph s3 对象的上传和删除(JAVA demo)
yangkang1122的博客
08-27 2098
ceph s3 文件的上传和下载 准备条件： （1）搭建一个ceph集群 https://blog.csdn.net/yangkang1122/article/details/88681682 （2）创建一个ceph s3用户 https://blog.csdn.net/yangkang1122/article/details/88681826 创建s3用户之后，会得到SecretKey和Acce...
Ceph RGW 对象上传源码分析
redenval的专栏
03-14 5557
RGW中OP请求处理函数的入口都是process_request，process_request会根据传入的RGWRados参数获取RGWOp，然后当请求合法性通过后去调用rgw_process_authenticated函数执行OP的具体动作。请求的处理 Collapse sourceint process_request(RGWRados* const store,              ...
一文读懂CEPH RGW基本原理
shichungang的博客
06-07 8646
一文读懂CEPH RGW基本原理。本文从RGW的基本原理出发，从整体上描述RGW的框架结构，突出关键结构之间的关联关系，从基础代码分析关键环节的实现细节，以达到清晰说明RGW模块“骨架”的效果。
Ceph rgw中的Object的组织形式及存储结构分析
梦幻之巅
07-14 3263
本来不想再写Ceph相关的文章了，最近在做ceph元数据优化研究及架构，整体思路是：将rados作为数据存储引擎，构建分布式元数据集群来管理元数据，如：将rgw或者fs相关的元数据从ceph的元数据池中抽取出来，转存到分布式元数据集群中，以此达到提升单集群处理能力的目的；要达到这个目的，有两个基础条件：1.对ceph中rgw或者fs的各CURD操作原理及IO路径非常熟悉，2.对ceph中元数据的组织及存储非常熟悉；然后才能在rgw或者mds的IO路径中进行数据及元数据的分离操作，并以合适的格式将元数据转存.
【Ceph】基于Tornado的Ceph文件上传与下载及在线预览
ns2250225
08-02 3155
概述 用tornado作为http服务器 在处理post/get请求的方法中，调用librados(python)接口实现写入 上传#!/usr/bin/env python # -*- coding: UTF-8 -*- import tornado.ioloop import tornado.web import os import radosclass UploadFileHandler(to
Spring Boot集成Ceph实现文件上传下载
心雨先生
03-31 5415
1，商品数据库 品牌表：brand CREATE TABLE `brand` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '品牌id', `name` varchar(100) NOT NULL COMMENT '品牌名称', `image` varchar(1000) DEFAULT '' COMMENT '品牌图片地址', `initial` varchar(1) DEFAULT '' COMMENT '品牌的首字母', `
ceph详细中文文档
01-16
Ceph 存储集群至少需要1 个Ceph Monitor 和2 个OSD 守护进程 运行Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
ceph命令文档，不是很全请谅解
10-07
ceph分布式存储实战属于当前云计算存储的领先模块，其讲述分布式存储环境搭建到实战全内容操作命令大全，有助于快速上手使用ceph存储技术
智牛股_第9章_CEPH_Swift+文件上传与下载
无
12-22 688
目标1：CEPH Swift 服务配置与实践 目标2：CEPH文件操作接口封装与集成使用 目标3：基于SnowFlake算法的全局唯一ID的使用 目标4：统一认证的高性能方案Token增强技术使用 目标5：文件上传与下载接口实现 目标6：Spring Boot多环境配置与打包实践
文件上传的整个流程
weixin_33920401的博客
11-09 649
文件上传的整个流程   文件上传的整个流程: 第一阶段: 构造struts2中针对请求字节流而构造的封闭类MultiPartRequestWrapper 1.FilterDispatcher 在doFilter方法中调用了prepareDispatcherAndWrapRequest方法，为了包装出Struts2自己的request对象，在prepareDispatcherAnd...
CephRGW 在多个RGW负载均衡场景下，RGW 大文件并发分片上传功能验证
12-26 582
http://docs.ceph.com/docs/master/radosgw/s3/objectops/#initiate-multi-part-upload 根据分片上传的API描述，因为对同一个文件需要多个upload的HTTP请求。那么很显然，存在多个RGW负载均衡的场景下，不同的HTTP请求会被负载均衡到不同的RGW上。 那么这是否会导致RGW不能把文件分片正确的合并为一...
RGW S3 Multipart解析
weixin_34270606的博客
04-13 875
2019独角兽企业重金招聘Python工程师标准>>> ...
Ceph rgw 处理上传文件读取不了的问题
a13568hki的博客
06-14 451
一、测试过程1、设置bucket类型为public-read 或者为public-reda-write的存储桶。下面这里建了一个public-read的存储桶，其中ACL:anon: READ 表示该存储桶的访问类型为public-read类型。2、向该存储桶上传文件。并查看对象的权限。3、打开浏览器，打开console,输入以下代码，进行访问测试执行回车，结果如下：4、设置CORS规则5、访问测试看上图还是不能访问，提示accessdenied。
rgw分片上传对象组织形式
pyrl的博客
04-28 2060
定位rgw分片上传的对象 version:ceph13.2.4 确定分片上传的全部对象 利用s3cmd向mpbucket01上传了一个名为2.txt的对象(210M) 1.首先确定bucket的bucketindex [root@sns-nvceph01 ~]# radosgw-admin bucket stats | grep mpbucket01 -A 50 "bucket":...
ceph关于multipart读取数据的总结
zrs19800702的博客
11-08 2046
ceph关于multipart读取数据的总结
ceph rgw
最新发布
11-20
### Ceph RGW 简介 Ceph RGW（Ceph Object Gateway）是 Ceph 存储系统中的对象网关服务，它提供了与 Amazon S3 和 OpenStack Swift 兼容的接口，允许用户通过熟悉的 API 来访问 Ceph 存储集群中的对象存储。这使得 Ceph 能够无缝集成到使用 S3 或 Swift 协议的现有应用程序和云环境中。 ### 功能特性 - **多协议支持**：Ceph RGW 支持 S3 和 Swift 两种广泛使用的对象存储协议，为不同需求的用户提供了灵活的选择。例如，使用 Amazon S3 API 的应用程序可以直接与 Ceph RGW 交互，而使用 OpenStack Swift 的云环境也能轻松集成 Ceph 存储。 - **数据冗余与高可用性**：依托 Ceph 存储集群的强大特性，Ceph RGW 能够实现数据的多副本存储和自动数据修复。当某个存储节点出现故障时，系统会自动将数据副本复制到其他可用节点，确保数据的安全性和服务的连续性。 - **用户认证与授权**：支持多种认证方式，如 AWS 风格的访问密钥认证，可对不同用户或用户组进行细粒度的权限控制。管理员可以根据业务需求，为用户分配不同的读写权限，保护数据的安全性。 - **数据版本控制**：允许用户对存储的对象进行版本管理，方便在数据被误删除或修改时进行恢复。每个对象的不同版本都会被保存，用户可以随时访问和恢复到指定版本。 - **多租户支持**：Ceph RGW 可以在一个存储集群中为多个租户提供独立的存储服务，每个租户有自己的命名空间和权限控制，实现资源的隔离和共享。 ### 配置方法 以下是一个简单的 Ceph RGW 配置示例： 1. **安装 Ceph RGW**：在 Ceph 集群节点上安装 Ceph RGW 服务。 ```bash sudo apt-get install radosgw radosgw-agent ``` 2. **配置 Ceph RGW**：编辑 Ceph 配置文件 `/etc/ceph/ceph.conf`，添加以下内容： ```plaintext [client.rgw.gateway] host = <hostname> rgw frontends = civetweb port=8080 rgw zone = <zone-name> rgw realm = <realm-name> ``` 其中，`<hostname>` 是运行 RGW 服务的节点主机名，`port` 是 RGW 服务监听的端口号，`<zone-name>` 和 `<realm-name>` 是 RGW 区域和领域的名称。 3. **创建 RGW 用户**：使用 `radosgw-admin` 工具创建 RGW 用户，并获取访问密钥。 ```bash radosgw-admin user create --uid="testuser" --display-name="Test User" ``` 该命令将创建一个名为 `testuser` 的 RGW 用户，并返回该用户的访问密钥（Access Key 和 Secret Key）。 ### 使用指南 以下是一个使用 s3fs 挂载 Ceph RGW 存储的示例： ```bash s3fs ceph-rgw /home/s3fs -o passwd_file=~/.passwd-s3fs -o use_path_request_style -o url=http://192.168.123.172:7480 ``` 其中，`ceph-rgw` 是存储桶名称，`/home/s3fs` 是挂载点，`~/.passwd-s3fs` 是存储访问密钥的文件，`http://192.168.123.172:7480` 是 Ceph RGW 服务的 URL。 ### 相关技术信息 - **架构设计**：Ceph RGW 基于 Ceph 的 RADOS（Reliable Autonomic Distributed Object Store）层构建，通过中间件层将 S3 和 Swift 协议的请求转换为 RADOS 对象操作。这种架构使得 Ceph RGW 能够充分利用 Ceph 集群的分布式存储能力，同时提供灵活的接口。 - **性能优化**：可以通过调整 Ceph RGW 的配置参数、优化网络环境和存储硬件等方式来提高性能。例如，增加 RGW 前端的并发连接数、使用高速网络和 SSD 存储设备等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值