【Ceph集群应用】CephFS文件系统之MDS接口详解

接上文基于ceph-deploy部署Ceph集群详解

1.创建CephFS文件系统MDS接口

服务端操作

（1）在admin管理节点创建mds服务

cd /etc/ceph
ceph-deploy mds create node01 node02 node03

（2）查看各个节点的mds服务

ssh root@node01 systemctl status ceph-mds@node01
ssh root@node02 systemctl status ceph-mds@node02
ssh root@node03 systemctl status ceph-mds@node03

（3）创建存储池，启用ceph文件系统

ceph文件系统至少需要两个rado池，一个用于存储数据，一个用于存储元数据。此时数据池就类似于文件系统的共享目录。

ceph osd pool create cephfs_data 128					#创建数据Pool

ceph osd pool create cephfs_metadata 128				#创建元数据Pool

1.1 创建cephfs

命令格式：

ceph fs new <FS_NAME> <CEPHFS_METADATA_NAME> <CEPHFS_DATA_NAME>

ceph fs new mycephfs cephfs_metadata cephfs_data		#启用ceph，元数据Pool在前，数据Pool在后

ceph fs ls					#查看cephfs

（4）查看mds状态，一个up，其余两个待命，目前的工作是由node01上的mds提供服务

ceph -s
ceph mds stat

（5）创建用户

语法格式：

ceph fs authorize  <fs_name>  client.<client_id>  <path-in-cephfs>  rw

#账户为client.zhangsan，用户name为zhangsan，zhangsan对ceph文件系统的 / 根目录（注意不是操作系统的根目录）有读写权限
ceph fs authorize mycephfs client.zhangsan / rw | tee /etc/ceph/zhangsan.keyring

#账户为client.lisi，用户name为lisi，lisi对文件系统的 / 根目录只有读权限，对文件系统的根目录的子目录 /test有读写权限
ceph fs authorize mycephfs client.lisi / r /test rw | tee /etc/ceph/lisi.keyring

客户端操作

（1）客户端要在public网络内

（2）在客户端创建工作目录

mkdir /etc/ceph

（3）在 ceph 的管理节点给客户端拷贝 ceph 的配置文件 ceph.conf 和账号的秘钥环文件zhangsan.keyring、lisi.keyring

scp ceph.conf zhangsan.keyring lisi.keyring root@client:/etc/ceph

（4）在客户端安装ceph依赖包和软件包

cd /opt
yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm
yum install -y ceph 

（5）在客户端制作秘钥文件

cd /etc/ceph
ceph-authtool -n client.zhangsan -p zhangsan.keyring > zhangsan.key			#把zhangsan用户的秘钥导出到 zhangsan.keyl
ceph-authtool -n client.lisi -p lisi.keyring > lisi.key						#把lisi用户的秘钥导出到lisi.key

（6）客户端挂载

cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa -o nonempty		#挂载时，如果挂载点不为空会挂载失败，指定-o nonempty可以忽略

1.2 基于内核的客户端挂载

语法格式：

mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secret=<秘钥>
mount -t ceph node01:6789,node02:6789,node03:6789:/  <本地挂载点目录>  -o name=<用户名>,secretfile=<秘钥文件>

示例一：

mkdir -p /data/zhangsan
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/zhangsan -o name=zhangsan,secretfile=/etc/ceph/zhangsan.key

示例二：

mkdir -p /data/lisi
mount -t ceph node01:6789,node02:6789,node03:6789:/ /data/lisi -o name=lisi,secretfile=/etc/ceph/lisi.key

验证用户权限

cd /data/lisi
echo 123 > 2.txt

cd /data/zhangsan
mkdir test       #lisi用户只有读取权限，没有修改权限，需要先切换到zhangsan用户下创建/test目录
cd /data/lisi
echo 123 > test/2.txt
cat test/2.txt

示例三：

#停掉node02上的mds服务
ssh root@node02 "systemctl stop ceph-mds@node02"

ceph -s
#测试客户端的挂载点仍然是可以用的，如果停掉所有的 mds，客户端就不能用了

1.3 基于fuse工具方式的客户端挂载

（1）在 ceph 的管理节点给客户端拷贝用户账号的秘钥环文件zhangsan.keyring、lisi.keyring

cd /etc/ceph
scp ceph.client.admin.keyring root@client:/etc/ceph

（2）在客户端安装ceph-fuse

yum install -y ceph-fuse

（3）客户端挂载

mkdir -p /data/aa
cd /data/aa
ceph-fuse -m node01:6789,node02:6789,node03:6789 /data/aa [-o nonempty]			#挂载时，如果挂载点不为空会挂载失败，指定 -o nonempty 可以忽略