CEPH存储文件系统操作

CEPH 存储文件系统操作

1. 部署 MDS 服务

# 部署完监视器(Mon)和OSD后，需进行必须至少部署一个元数据服务器守护程序才能使用CephFS
ceph-deploy mds create {host-name}[:{daemon-name}] [{host-name}[:{daemon-name}] ...]

ceph-deploy mds create ceph01 ceph02 ceph03

2. 创建 CEPH 文件系统

• Ceph文件系统至少需要两个RADOS池，一个用于数据，一个用于元数据。配置时，可以考虑：

  • 为元数据池使用更高的复制级别，因为这个池中的任何数据丢失都可能使整个文件系统无法访问。
  • 为元数据池使用低延迟存储(如ssd)，因为这将直接影响客户机上文件系统操作的观察延迟

• 创建存储池

  ceph osd pool create cephfs_data 128
  ceph osd pool create cephfs_metadata 128
  

• 创建文件系统

  # 通过 fs new 创建文件系统命令
  ceph fs new <fs_name> <metadata> <data>
  ceph fs new cephFS cephfs_metadata cephfs_data
  
  # 查看已有的文件系统
  [root@node197 ~]# ceph fs ls
  name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
  	
  # 查看MDS服务器状态（文件系统创建完毕后， MDS 服务器就能达到 active 状态了）
  [root@node197 ~]# ceph mds stat
  cephfs-1/1/1 up  {0=node197=up:active(laggy or crashed)}
  

3. 挂载文件系统

• 在客户端创建挂载目录

  mkdir /mnt/cephfs
  

• 客户端用内核驱动挂载文件系统

  • 普通挂载

    # 若部署ceph集群的时候，在配置文件中未开启cephx认证，则无需密钥或者密钥配置文件可以直接进行挂载
    mount -t ceph ip:port:/ /mnt/cephfs
    mount -t ceph 192.168.20.0:6789:/ /mnt/cephfs
    

  • 通过secretfile进行挂载

    # 若部署ceph集群的时候，配置文件中开启cephx认证，则需密钥或者密钥配置文件可以直接进行挂载
    # 获取ceph集群配置文件中的密钥，并存入客户端中
    mkdir /etc/ceph
    echo 'AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==' > /etc/ceph/cephfskey 
    # 挂载
    mount -t ceph ip:port:/ /mnt/cephfs -o name=xxx,secretfile=/etc/ceph/cephfskey
    mount -t ceph 192.168.20.0:6789:/ /mnt/cephfs -o name=xxx,secretfile=/etc/ceph/cephfskey
    

  • 通过secret进行挂载

    # 若部署ceph集群的时候，配置文件中开启cephx认证，则需密钥或者密钥配置文件可以直接进行挂载
    # 获取ceph集群配置文件中的密钥
    # 挂载
    mount -t ceph ip:port:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
    mount -t ceph 192.168.20.0:6789:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
    

  • 多个mon节点的挂载

    # 挂载多个mon节点，中间以逗号隔开即可
    mount -t ceph ip:port,ip:port:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
    mount -t ceph 192.168.20.0:6789,192.168.20.1:6789:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==
    

  • 指定挂载文件系统

    # 通过fs或者mds_namespace进行指定文件系统
    mount -t ceph ip:port,ip:port:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==,mds_namespace=xxx
    mount -t ceph 192.168.20.0:6789,192.168.20.1:6789:/ /mnt/cephfs -o name=xxx,secret=AQBjVUZeJMQKBRAAh1Lp7p7A0YdBnw7VeZPJtQ==,mds_namespace=xxx
    

4. 卸载文件系统

# 查看文件系统挂载
[root@test-node35 ~]# df -h /mnt/luly
Filesystem             Size  Used Avail Use% Mounted on
192.168.20.2:6789:/  153G     0  153G   0% /mnt/cephfs
# 取消文件系统挂载
umount /mnt/cephfs