ceph三个接口的创建

目录

创建 CephFS 文件系统 MDS 接口

服务端操作

客户端操作

创建 Ceph 块存储系统 RBD 接口

1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池

2、将存储池转换为 RBD 模式

​编辑

3、初始化存储池

4、创建镜像

5、镜像管理

6、Linux客户端使用

客户端使用 RBD 有两种方式：

安装 ceph-common 软件包

执行客户端映射

查看映射

断开映射

格式化并挂载

在线扩容

7、快照管理

在客户端操作

在管理节点操作

在客户端重新映射并挂载

​编辑

​编辑

解除限制：

删除快照删除指定快照：

删除所有快照：

8、镜像的导出导入

创建 Ceph 对象存储系统 RGW 接口

1、对象存储概念

三者的关系是：

 2、创建 RGW 接口

OSD 故障模拟与恢复

1、模拟 OSD 故障

2、将坏掉的 osd 踢出集群

3、把原来坏掉的 osd 修复后重新加入集群

---

创建 CephFS 文件系统 MDS 接口

服务端操作

1）在管理节点创建 mds 服务

cd /etc/ceph
ceph-deploy mds create node01 node02 node03

 2）查看各个节点的 mds 服务

ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03

3）创建存储池，启用 ceph 文件系统
ceph 文件系统至少需要两个 rados 池，一个用于存储数据，一个用于存储元数据。此时数据池就类似于文件系统的共享目录。

ceph osd pool create cephfs_data 128                    #创建数据Pool

ceph osd pool create cephfs_metadata 128                #创建元数据Pool

创建 cephfs，

命令格式：ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>

ceph fs new mycephfs cephfs_metadata cephfs_data        #启用ceph，元数据Pool在前，数据Pool在后

 ceph fs ls                    #查看cephfs

 4）查看mds状态，一个up，其余两个待命，目前的工作的是node01上的mds服务

ceph -s

ceph mds stat

 5）创建用户

语法格式：ceph fs authorize  <fs_name>  client.<client_id>  <path-in-cephfs>  rw

#账户为 client.ggl，用户 name 为 ggl，ggl对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限

ceph fs authorize mycephfs client.ggl / rw | tee /etc/ceph/ggl.keyring

 

 # 账户为 client.ycx，用户 name 为 ycx，ycx对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test 有读写权限

ceph fs authorize mycephfs client.ycx / r /zxr rw | tee /etc/ceph/ycx.keyring

客户端操作

1）客户端要在 public 网络内

2）在客户端创建工作目录

mkdir /etc/ceph

3）在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件 ggl.keyring、ycx.keyring

scp ceph.conf ggl.keyring ycx.keyring root@client:/etc/ceph

4）在客户端安装 ceph 软件包

cd /opt
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm
yum install -y ceph 

5）在客户端制作秘钥文件

cd /etc/ceph

ceph-authtool -n client.ggl -p ggl.keyring > ggl.key            #把 zhangsan 用户的秘钥导出到 zhangsan.keyl

ceph-authtool -n client.lisi -p lisi.keyring > lisi.key                        #把 lisi 用户的秘钥导出到 lisi.key

6）客户端挂载
●方式一：基于内核
语法格式：

mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secret=<秘钥>

mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secretfile=<秘钥文件>

示例一：

mkdir -p /data/ggl
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/ggl -o name=ggl,secretfile=/etc/ceph/ggl.key

示例二：

mkdir -p /data/ycx
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/ycx -o name=ycx,secretfile=/etc/ceph/ycx.key

#验证用户权限

cd /data/ycx
echo 123 > 2.txt
-bash：2.txt：权限不够

echo 123 > test/2.txt
cat test/2.txt
123

示例三：
停掉 node02 上的 mds 服务

ssh root@node02 "systemctl stop ceph-mds@node02"
ceph -s

测试客户端的挂载点仍然是可以用的，如果停掉所有的 mds，客户端就不能用了

●方式二：基于 fuse 工具
1）在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件

ggl.keyring、ycx.keyring

scp ceph.client.admin.keyring root@client:/etc/ceph

2）在客户端安装 ceph-fuse

yum install -y ceph-fuse

3）客户端挂载

cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty]            #挂载时，如果挂载点不为空会挂载失败，指定 -o nonempty 可以忽略

创建 Ceph 块存储系统 RBD 接口

1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池

ceph osd pool create rbd-demo 64 64

2、将存储池转换为 RBD 模式

ceph osd pool application enable rbd-demo rbd

3、初始化存储池

rbd pool init -p rbd-demo            # -p 等同于 --pool

4、创建镜像

rbd create -p rbd-demo --image rbd-demo1.img --size 10G

可简写为：

rbd create rbd-demo/rbd-demo2.img --size 10G

5、镜像管理

查看存储池下存在哪些镜像

rbd ls -l -p rbd-demo

查看镜像的详细信息

rbd info -p rbd-demo --image rbd-demo1.img
rbd image 'rbd-demo.img':
    size 10 GiB in 2560 objects                         #镜像的大小与被分割成的条带数
    order 22 (4 MiB objects)                            #条带的编号，有效范围是12到25，对应4K到32M，而22代表2的22次方，这样刚好是4M
    snapshot_count: 0
    id: 5fc98fe1f304                                    #镜像的ID标识
    block_name_prefix: rbd_data.5fc98fe1f304            #名称前缀
    format: 2                                           #使用的镜像格式，默认为2
    features: layering, exclusive-lock, object-map, fast-diff, deep-flatten          #当前镜像的功能特性
    op_features: