ceph文件系统

• 文件系统：相当于是组织数据存储的方式。
• 格式化时，就是在为存储创建文件系统。
• Linux对ceph有很好的支持，可以把ceph文件系统直接挂载到本地。
• 要想实现文件系统的数据存储方式，需要有MDS组件
• 安装并启用mds

# 在node3节点上安装MDS
[root@node1 ~]# ssh node3
[root@node3 ~]# yum install -y ceph-mds

# 的node1配置MDS
[root@node1 ~]# cd ceph-cluster/
[root@node1 ceph-cluster]# ceph-deploy mds create node3

使用MDS

• 元数据就是描述数据的属性。如属主、属组、权限等。
• ceph文件系统中，数据和元数据是分开存储的
• 新建存储池

• 归置组PG：存储池包含PG。PG是一个容器，用于存储数据。
• 为了管理方便，将数量众多的数据放到不同的PG中管理，而不是直接把所有的数据扁平化存放。
• 通常一个存储池中创建100个PG。

• 创建ceph文件系统

# 1. 新建一个名为data1的存储池，目的是存储数据，有100个PG
[root@node1 ceph-cluster]# ceph osd pool create data1 100

# 2. 新建一个名为metadata1的存储池，目的是存储元数据
[root@node1 ceph-cluster]# ceph osd pool create metadata1 100

# 3. 创建名为myfs1的cephfs，数据保存到data1中，元数据保存到metadata1中
[root@node1 ceph-cluster]# ceph fs new myfs1 metadata1 data1

# 查看存储池
[root@node1 ceph-cluster]# ceph osd lspools
0 rbd,1 data1,2 metadata1,
[root@node1 ceph-cluster]# ceph df
GLOBAL:
 SIZE AVAIL RAW USED %RAW USED
 92093M 91574M 519M 0.56
POOLS:
 NAME ID USED %USED MAX AVAIL OBJECTS
 rbd 0 86469k 0.28 30488M 2606
 data1 1 0 0 30488M 0
 metadata1 2 2068 0 30488M 20
 
# 查看文件系统
[root@node1 ~]# ceph fs ls
name: myfs1, metadata pool: metadata1, data pools: [data1 ]

• 客户端使用cephfs

# 挂载文件系统需要密码。查看密码
[root@client1 ~]# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
 key = AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ==

# -t 指定文件系统类型。-o是选项，提供用户名和密码
# cephfs的端口号默认是6789
[root@client1 ~]# mkdir /mydata
[root@client1 ~]# mount -t ceph -o name=admin,secret=AQBmhINh1IZjHBAAvgk8m/FhyLiH4DCCrnrdPQ== 192.168.88.13:6789:/ /mydata
[root@client1 ~]# df -h /mydata
文件系统 容量 已用 可用 已用% 挂载点
192.168.88.13:6789:/ 90G 520M 90G 1% /mydata