ceph实战之ceph集群的管理（二）

上篇ceph实战之ceph集群的管理（一）_Mr.Lilh的博客-CSDN博客  介绍了ceph集群存储池和OSD管理，本篇将主要讲解下ceph集群块存储和对象存储系统

• 1.ceph集群之 块存储
• 2.ceph集群之 对象存储

文件系统，块存储，和对象存储，可以参考：对象存储、文件存储和块存储之间的区别 - 阿里云知识库

一：ceph集群块存储

简单明了的说硬盘就是块存储

在上一篇ceph实战之ceph集群的管理中介绍了ceph集群如何创建存储池,ceph实战之ceph集群的管理（一）_Mr.Lilh的博客-CSDN博客

1）ceph集群创建存储池myrdb1

#创建存储池myrdb1
ceph osd pool create myrdb1 32 32 

#查看已创建存储池的信息
ceph osd pool ls

2) 启用快存储

#启用块存储

ceph osd pool application enable myrdb1 rbd

 3）对块存储进行初始化

#对块存储进行初始化

rbd pool init -p myrdb1

4）创建一个固定大小的块存储镜像

#创建一个3G大小的磁盘镜像

rbd create myimg1 --size 3G --pool myrdb1 --image-format 2 --image-feature layering

# --image-feature为启用的磁盘镜像特性

5）列出创建的磁盘镜像信息

# 列出创建的磁盘镜像信息
rbd --image myimg1 --pool myrdb1 info

6）在一台新的服务器上挂载新创建的磁盘镜像

#在新服务器上安装ceph-common

 yum install ceph-common

#执行rbd磁盘挂载

 rbd --user admin -p myrdb1 map myimg1 #-p 块myrdb1  #myimg1为镜像名称

 磁盘挂载需要有权限的用户才能挂载，本示例中采用admin最高权限用户，需要把mgr节点上的ceph.client.admin.keyring和ceph.conf 配置文件放置到的新节点/etc/ceph/ 下

7）查看磁盘挂载是否成功

8）rbd镜像回收机制

  删除之前先看下改rbd是否正在使用

#查看myimg1状态

rbd status --pool myrdb1 --image myimg1

 如果有在使用请备份好数据，卸载磁盘 umount 

 镜像移动到回收站

rbd trash move --pool myrdb1 --image myimg1

 查看回收站镜像

rbd trash list --pool myrdb1

 从回收站删除镜像

#查看映射关系
rbd showmapped

#取消相应的映射
rbd unmap myrdb1/myimg1

#清除回收站
rbd trash remove  --pool myrdb1 11d06cc438b7

二：ceph集群之对象存储

对象存储：各种云都有自己的对象存储系统，如阿里云的OSS，亚马逊云的S3

1）部署radosgw 并对rgw做高可用和监控

在需要安装radosgw服务器上安装rgw组件

yum install -y ceph-radosgw

2）添加ceph-rdaosgw到集群中

ceph-deploy rgw create cephstore1
ceph-deploy rgw create cephstore2

查看集群状态，从截图中可以看到rgw出新增了两个节点，cephstore1 和 cephstore2 

3）在rgw前端添加Nginx反代层

nginx服务器IP: 10.19.14.2   配置域名为   http://lilh.cephrgw.com/

反代地址为：

  10.19.14.27:7480

  10.19.14.23:7480

配置完成后 在本地电脑上配置hosts解析： 

 10.19.14.2  lilh.cephrgw.com

在本地浏览器访问：

4）创建操作对象存储的专属用户

radosgw-admin  user create --uid="user1" --display-name="test user1"

#--uid 为用户名字
#--display-name 为用户说明

创建完用户后会自动输出次用户的access_key 和 secret_key 保存好这两个信息，后面上传文件时需要用到。

5）安装s3cmd工具用于在命令行操作ceph

#安装s3cmd工具  

yum install -y s3cmd

 6）生产s3cmd命令配置工具

配置s3cmd配置文件前需要在测试机上配置好hosts域名解析

10.19.14.2  lilh.cephrgw.com

s3cmd --configure

需要输入的地方如下图红色标记处 

 解决ERROR: S3 error: 403 (SignatureDoesNotMatch) 问题

vi /root/.s3cfg

把 signature_v2 = False 改为 signature_v2 = True

7）创建bucket

s3cmd mb s3://llh

查看创建的buckert

8）上传文件测试

s3cmd put KaprunDam_ZH-CN9638804777_1920x1080.jpg s3://llh/img/

9）查看对象

s3cmd ls s3://llh/img/

10）通过get方式下载文件

s3cmd get s3://llh/img/KaprunDam_ZH-CN9638804777_1920x1080.jpg /tmp/

11）删除文件对象

s3cmd del s3://llh/img/KaprunDam_ZH-CN9638804777_1920x1080.jpg

12)删除bucket

s3cmd rb s3://llh

以上是对ceph集群块存储和对象存储管理介绍，接下来将会介绍下ceph集群 文件系统管理ceph实战之ceph集群的管理（三）_Mr.Lilh的博客-CSDN博客。