CephFS创建及挂载

cephfs创建及挂载
Ceph 文件系统（ Ceph FS ）是个 POSIX 兼容的文件系统，它使用 Ceph 存储集群来存储数据。Ceph 文件系统要求 Ceph 存储集群内至少有一个 Ceph 元数据服务器。

1、添加MDS，接上篇，这里把ceph01节点作为元数据服务器MDS。

# ceph-deploy --overwrite-conf mds create ceph1 ceph2 ceph3
# netstat -tnlp | grep mds
tcp        0      0 0.0.0.0:6810            0.0.0.0:*               LISTEN      2070/ceph-mds
tcp        0      0 0.0.0.0:6811            0.0.0.0:*               LISTEN      2070/ceph-mds

2、创建两个存储池。MDS需要使用两个pool，一个pool用来存储数据，一个pool用来存储元数据。

# ceph osd pool create fs_data 2
# ceph osd pool create fs_metadata 2
# rados lspools

3、创建Cephfs

# ceph fs new cephfs fs_metadata fs_data
# ceph fs ls
name: cephfs, metadata pool: fs_metadata, data pools: [fs_data ]

4、创建第二组两个存储池。MDS需要使用两个pool，一个pool用来存储数据，一个pool用来存储元数据。

# ceph osd pool create fs_data2 2
# ceph osd pool create fs_metadata2 2
# rados lspools

5、创建第二组Cephfs

# ceph fs new cephfs2 fs_metadata2 fs_data2
Error EINVAL: Creation of multiple filesystems is disabled.  To enable this experimental feature, use 'ceph fs flag set enable_multiple true'
# ceph fs flag set enable_multiple true --yes-i-really-mean-it
# ceph fs new cephfs2 fs_metadata2 fs_data2
# ceph fs ls
name: cephfs, metadata pool: fs_metadata, data pools: [fs_data ]
name: cephfs2, metadata pool: fs_metadata2, data pools: [fs_data2 ]

#创建第二个cephfs文件系统，如果创建了第二个cephfs文件系统，还需要设置default的cephfs才可以调用
ceph fs set_default cephfs2 #设置刚才创建的cephfs2文件系统为默认的文件系统

6、查看MDS状态

# ceph mds stat
cephfs:1 {0=ceph2=up:active} 2 up:standby

---

# # #  挂载Cephfs

CephFS有不同的挂载方式，挂载cephfs有两种方式，kernel driver和fuse，这里只说第一种。

1、加载rbd内核模块

# modprobe rbd
# lsmod | grep rbd
rbd 83938 0
libceph 287066 2 rbd,ceph

2、获取admin key

# cat ceph.client.admin.keyring
[client.admin]
key = AQBkbIhd9G2YHBAAS6peV7UtX4TbozHGsUPpoQ==
caps mds = "allow *"
caps mon = "allow *"
caps osd = "allow *"

3、创建挂载点，尝试本地挂载

# mkdir /cephfs_test
# mount -t ceph ceph1:6789:/ /cephfs_test -o name=admin,secret=AQBkbIhd9G2YHBAAS6peV7UtX4TbozHGsUPpoQ==
# df -hT
192.168.111.179:6789:/  ceph      123G     0  123G    0% /cephfs_test

4、如果有多个mon节点，可以挂载多个节点，保证了CephFS的高可用，当有一个节点down的时候不影响数据读写
# umount /cephfs_test
# mount -t ceph ceph1,ceph2,ceph3:6789:/ /cephfs_test -o name=admin,secret=AQBkbIhd9G2YHBAAS6peV7UtX4TbozHGsUPpoQ==
# df -hT
192.168.111.179,192.168.111.180,192.168.111.181:6789:/ ceph      123G     0  123G    0% /cephfs_test

# umount /cephfs_test
4、删除Cephfs
# ceph fs fail cephfs
# ceph fs rm cephfs
# ceph fs rm cephfs --yes-i-really-mean-it
5、删除存储池
ceph osd pool rm fs_data fs_data --yes-i-really-really-mean-it
ceph osd pool rm fs_metadata fs_metadata --yes-i-really-really-mean-it

6、删除第二个Cephfs
# ceph fs fail cephfs
# ceph fs rm cephfs
# ceph fs rm cephfs --yes-i-really-mean-it
7、删除第二组存储池
ceph osd pool rm fs_data fs_data --yes-i-really-really-mean-it
ceph osd pool rm fs_metadata fs_metadata --yes-i-really-really-mean-it

一个mount客户端执行
# while true ; do echo `date`>>/cephfs_test/cephfs.txt ; sleep 10 ; done
另一个客户端执行
#tail -f /cephfs_test/cephfs.txt
2019年 09月 27日 星期五 15:44:39 CST
2019年 09月 27日 星期五 15:44:49 CST
2019年 09月 27日 星期五 15:44:59 CST
2019年 09月 27日 星期五 15:45:09 CST
2019年 09月 27日 星期五 15:45:19 CST
2019年 09月 27日 星期五 15:45:38 CST
2019年 09月 27日 星期五 15:45:48 CST
关闭一个ceph节点发现有延迟