UOS安装部署Ceph集群（二）

本篇文章介绍Ceph如何使用，

包括创建/使用：块存储（rbd）、文件存储（cephfs）、对象存储（rgw）

前4步详细介绍，请点击链接跳转。

实验过程：

    1、Ceph架构图  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客-CSDN博客

    2、实验环境说明  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客-CSDN博客

    3、Ceph集群基础环境调试  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客-CSDN博客

    4、创建Ceph集群  UOS安装部署Ceph集群（一）_[ceph_deploy][error ] runtimeerror: bootstrap-osd _小时候很牛、的博客-CSDN博客

    5、块存储（rbd）

    6、文件存储（cephfs）

    7、对象存储（rgw）

5、块存储（rbd）

如无特殊说明，以下操作在client节点上

5.1 创建块设备

拷贝ceph集群密钥（在node1上操作）

    # ceph-deploy admin client

    

查看集群

    # rados lspools

创建新的池test1

    # rados mkpool test1

    

    # rados lspools

   

在test1池中创建块设备

    # rbd create test1/rbd1 --image-format 1 --size 1024

查看池中的块设备信息

    # rbd -p test1 ls

   

查看块设备详细信息

    # rbd info test1/rbd1

   

5.2 映射块设备

把块设备rbd1映射到client

    # rbd map --image test1/rbd1

   

查看哪些块设备映射到client

    # rbd showmapped

   

块设备会被映射为一个设备使用，不需要进行分区

    # lsblk

   

5.3 挂载块设备

格式化映射过来的块设备

    # mkfs.xfs /dev/rbd0

   

挂载块设备

    # mount /dev/rbd0 /mnt

    # df -Th

   

5.4 设置开机自动挂载

修改fstab文件

    # vi /etc/fstab

        /dev/rbd0    /mnt    xfs    defaults,_netdev    0 0

由于client重启后，块设备映射关系会丢失，我们把映射命令卸载rc.local文件中

    # echo rbd map --image test1/rbd1 >> /etc/rc.local

    # chmod +x /etc/rc.local

    # vi /lib/systemd/system/rc-local.service

        [Install]

        WantedBy=multi-user.target

    # systemctl restart rc.local.service && systemctl enable rc.local.service

重启client后，df 查看验证

5.5 附加：删除块设备

卸载挂载点

    # umount /xx

删除映射关系

    # rbd unmap /dev/rbd1

    # rbd showmapped

删除块设备

    # rbd rm test1/rbd1

    # lsblk

到这里，rbd存储就完成了，记得做快照

6、文件存储（cephfs）

如无特殊说明，以下操作在node2节点上

6.1 安装ceph-mds

    # cd /etc/ceph

    # apt -y install ceph-mds

创建MDS

    # ceph-deploy mds create node2

   

查看MDS运行状态

    # service ceph status mds

   

6.2 创建cephfs文件系统

必须存在2个池：cephfs_data、cephfs_metadata

    # ceph osd pool create cephfs_data 64 64

        第一个64，代表pg数量

        第二个64，代表pgp数量

   

    # ceph osd pool create cephfs_metadata 64 64

查看池信息

    # rados lspools

   

给池创建文件系统

    # ceph fs new cephfs cephfs_metadata cephfs_data

    # ceph mds stat

   

    # service ceph status mds

6.3 挂载文件系统

如无特殊说明，以下操作在client上

安装fuse工具

    # apt -y install ceph-fuse

    # ceph-fuse --keyring /etc/ceph/ceph.client.admin.keyring --name client.admin -m node1:6789 /mnt

    # df -Th

设置开机自动挂载

    # vi /etc/fstab

        id=admin   /mnt    fuse.ceph    defaults    0  0

    # mount -a

    # reboot      #测试

到这里，cephfs存储就完成了，记得做快照

7、对象存储（rgw）

如无特殊说明，以下操作在node3上

7.1 安装/创建rgw

    # apt -y install radosgw

    # ceph-deploy rgw create node3

查看rgw的运行状态

    # /etc/init.d/ceph status radosgw

    # netstat -nutlp |grep 7480

浏览器访问rgw存储（在client上）

    192.168.26.130:7480

7.2 创建rgw存储的池

    # ceph osd pool create object1 128       ##官方推荐少于5个osd设置pg_num为128

查看池

    # ceph osd lspools

7.3 上传文件测试

如无特殊说明，以下操作在client上

本地创建一个文件后，上传到rgw存储

    # mkdir /1.txt

    # rados put objectfile /1.txt -p object1

查看存储池内的文件

    # rados -p object1 ls

查看集群状态

    # ceph -s    ##能看到刚上传的文件已经占用了空间

查看文件保存路径

    # ceph osd map object1 1.txt

到这里，对象存储就完成了，记得做快照