11.Ceph 对象存储系统 RGW 接口

Ceph 对象存储系统 RGW 接口

概念

• 对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。
• 不同于其他数据存储方法，基于对象的存储不使用目录树。
• 虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。

逻辑单位

从客户端的角度来看，分为以下几个逻辑单位：

• Amazon S3：

  1. 用户（User）
  2. 存储桶（Bucket）
  3. 对象（Object）
  • 三者的关系是：
    1. User将Object存储到系统上的Bucket
    2. 存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
    3. 同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间

• OpenStack Swift：

  • 提供了user、container和object分别对应于用户、存储桶和对象，
  • 不过它还额外为user提供了父级组件account，用于表示一个项目或用户，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间

• RadosGW：

  • 提供了user、subuser、bucket和object，
  • 其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；
  • 不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

• 从上可以看出大多数对象存储的核心资源类型大同小异，如 Amazon S3、OpenStack Swift 与 RadosGw。

• 其中 S3 与 Swift 互不兼容，RadosGw 为了兼容 S3 与 Swift， Ceph 在 RadosGW 集群的基础上提供了 RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容 S3 和 Swift 的 API。

• S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civetweb提供服务，它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求，再转发至RadosGW进程。

• RGW 的功能依赖于对象网关守护进程实现，负责向客户端提供 REST API 接口。出于冗余负载均衡的需求，一个 Ceph 集群上通常不止一个 RadosGW 守护进程。

创建RGW接口

• 如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。

---admin---

###在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）

cd /etc/ceph

ceph-deploy rgw create node01

ceph -s

  services:
    mon: 3 daemons, quorum node01,node02,node03 (age 3h)
    mgr: node01(active, since 12h), standbys: node02
    mds: mycephfs:1 {0=node02=up:active} 2 up:standby
    osd: 6 osds: 6 up (since 12h), 6 in (since 25h)
    rgw: 1 daemon active (node01)

---admin--

###创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls

rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

--admin---

###默认情况下 RGW 监听 7480 号端口

ssh root@node01 netstat -lntp | grep 7480

curl node01:7480

<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
  <Owner>
    <ID>anonymous</ID>
    <DisplayName/>
  </Owner>
  <Buckets/>
</ListAllMyBucketsResult>

开启http+https

• 开启 http+https ，更改监听端口
• RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。

---admi