ceph搭建基本使用

安装Ceph集群

ceph入门介绍

块存储（rbd）：块设备可理解成一块硬盘,具有优异的读写性能，但不能多处挂载同时读写
文件系统cephfs: 读写性能较块设备接口差，但具有优异的共享性。
对象存储:具有共享性而存储性能好于文件系统存储的存储

 Ceph存储集群至少需要一个Ceph Monitor，Ceph Manager和Ceph OSD（对象存储守护进程）。
 
Monitors：Ceph监视器（ceph-mon）维护集群状态的映射，包括监视器映射，管理器映射，OSD映射和CRUSH映射。
这些映射是Ceph守护进程相互协调所需的关键集群状态。监视器还负责管理守护进程和客户端之间的身份验证。
冗余和高可用性通常至少需要三个监视器。

Managers：Ceph Manager守护程序（ceph-mgr）负责跟踪运行时指标和Ceph集群的当前状态，包括存储利用率，
当前性能指标和系统负载。 Ceph Manager守护进程还托管基于python的模块来管理和公开Ceph集群信息，
包括基于Web的Ceph Dashboard和REST API。高可用性通常至少需要两名Managers。

Ceph OSD：Ceph OSD（对象存储守护进程，ceph-osd）存储数据，处理数据复制，恢复，重新平衡，并通过检查其他
Ceph OSD守护进程来获取心跳，为Ceph监视器和管理器提供一些监视信息。冗余和高可用性通常至少需要3个Ceph OSD。

MDS：Ceph元数据服务器（MDS，ceph-mds）代表Ceph文件系统存储元数据（即，Ceph块设备和Ceph对象存储不使用
MDS）。 Ceph元数据服务器允许POSIX文件系统用户执行基本命令（如ls，find等），而不会给Ceph存储集群带来巨大负担。

安装准备

1)ceph服务器都添加1块20G磁盘。
2）所有主机设置防火墙和SELinux
[root@ms-adm ~]# firewall-cmd --set-default-zone=trusted
[root@ms-adm ~]# sed -i '/SELINUX/s/enforcing/permissive/' /etc/selinux/config
[root@ms-adm  ~]# setenforce 0   
3）配置无密码连接(包括自己远程自己也不需要密码)，在node1操作。
[root@ms-adm  ~]# ssh-keygen   -f  /root/.ssh/id_rsa    -N  ''    
[root@node1 ~]# for i in   11  12  13
 do
     ssh-copy-id  192.168.1.$i
 done
4）修改/etc/hosts并同步到所有主机。
[root@ms-adm ~# cat >>/etc/hosts<<EOF
192.168.1.11  ms-adm
192.168.1.12  node-mon
192.168.1.13  node-osd
EOF
[root@ms-adm ~]# for i in node-mon  node-osd
do
scp  /etc/hosts   $i:/etc/
done
5）ms-adm主机配置NTP服务器
[root@ms-adm ~]# ntpdate cn.pool.ntp.org
[root@ms-adm ~]# systemctl start ntpd &&systemctl enable ntpd
6）节点修改NTP客户端配置
[root@node-mon ~]# ntpdate ms-adm
计划任务：
[root@node-mon ~]# crontab -l
* */1 * * * /usr/sbin/ntpdate ms-adm
[root@ms-adm ~# systemctl restart chronyd

配置yum源

#配置Ceph安装源，在ms-adm、node-mon、node-osd上同步如下yum源

阿里云的yum源
[root@ms-adm ~]# cat  >/etc/yum.repos.d/ceph.repo<<EOF
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/ 
enabled=1 
gpgcheck=0 
type=rpm-md 
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc 
priority=1
[Ceph-noarch] 
name=Ceph noarch packages 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/ 
enabled=1 
gpgcheck=0 
type=rpm-md 
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc 
priority=1 
[ceph-source]
name=Ceph source packages 
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/ 
enabled=1 
gpgcheck=0 
type=rpm-md 
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc 
priority=1
EOF

163的阿里云的yum源
[root@ms-adm ~]# cat >/etc/yum.repos.d/ceph.repo <<-'EOF'
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1
EOF

[root@ms-adm ~]# yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ 
[root@ms-adm ~]# yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 
[root@ms-adm ~]# rm -f /etc/yum.repos.d/dl.fedoraproject.org*

3）、安装ceph-deploy

[root@ms-adm ~]# yum -y install python-setuptools  ceph-deploy 
[root@ms-adm ~]# yum -y install ceph ceph-radosgw
[root@ms-adm ~]# ceph --version
ceph version 10.2.11 (e4b061b47f07f583c92a050d9e84b1813a35671e)

ceph-base.x86_64 2:10.2.11-0.el7       ceph-common.x86_64 2:10.2.11-0.el7
ceph-mds.x86_64 2:10.2.11-0.el7        ceph-mon.x86_64 2:10.2.11-0.el7
ceph-osd.x86_64 2:10.2.11-0.el7        ceph-selinux.x86_64 2:10.2.11-0.el7

node上安装

[root@node-mon ~]# yum -y install ceph ceph-radosgw
[root@node-mon ~]# ceph --version
ceph version 10.2.11 (e4b061b47f07f583c92a050d9e84b1813a35671e)

创建Monitor节点

[root@ms-adm ~]# mkdir ceph && cd ceph
[root@ms-adm ceph]# ceph-deploy new ms-adm node-mon node-osd
[root@ms-adm ceph]# ls
ceph.conf            #ceph集群配置文件
ceph-deploy-ceph.log #ceph-deploy命令执行结果的日志
ceph.mon.keyring     #ceph mon角色的key
[root@ms-adm ceph]# vim ceph.conf
[global]
fsid = 7aca1836-1145-4b18-b452-9cb90faf98af
mon_initial_members = ms-adm, node-mon, node-osd
mon_host = 192.168.1.11,192.168.1.12,192.168.1.13
#3台host实现了monitor高可用
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
mon clock drift allowed = 0.500
mon clock drift warn backoff = 10
osd_pool_default_size = 2
mon clock drift allowed #监视器间允许的时钟漂移量默认值0.05
mon clock drift warn backoff #时钟偏移警告的退避指数。默认值5
ceph对每个mon之间的时间同步延时默认要求在0.05s之间，这个时间有的时候太短了。所以如果ceph 集群如果出现 clock问题就检查ntp时间同步或者适当放宽这个误差时间。

[root@ms-adm ceph]# ceph-deploy mon create-initial
//节点之间没能免密，所以要多次输入密码
[root@ms-adm ceph]# ls
ceph.bootstrap-mds.keyring   #MDS启动key
ceph.bootstrap-osd.keyring   #OSD启动key 
ceph.client.admin.keyring    #管理员key
ceph-deploy-ceph.log    ceph.bootstrap-mgr.keyring  ceph.bootstrap-rgw.keyring  
ceph.conf        ceph.mon.keyring

部署osd

[root@ms-adm ceph]# ceph-deploy osd prepare  ms-adm:/dev/sdb
[ceph_deploy.osd][DEBUG ] Host ms-adm is now ready for osd use.
[root@ms-adm ceph]# lsblk
sdb               8:16   0   20G  0 disk
├─sdb1            8:17   0   15G  0 part /var/lib/ceph/osd/ceph-0    
└─sdb2            8:18   0    5G  0 part
#每个磁盘都会被自动分成两个分区；一个固定5G大小；一个为剩余所有容量
#5G分区为Journal日志缓存；剩余所有空间为数据盘。
[root@ms-adm ceph]# ceph-deploy osd prepare  node-mon:/dev/sdb
//没有免密要输入密码
[ceph_deploy.osd][DEBUG ] Host node-mon is now ready for osd use.

[root@ms-adm ceph]# ssh-copy-id root@192.168.1.13
[root@ms-adm ceph]# ssh node-osd
Last login: Tue Apr  5 11:40:53 2022 from 192.168.1.1
[root@ms-adm ceph]# ceph-deploy osd prepare  node-osd:/dev/sdb
[ceph_deploy.osd][DEBUG ] Host node-osd is now ready for osd use.

激活磁盘

[root@ms-adm ceph]# ceph-deploy osd activate  ms-adm:/dev/sdb1
[root@ms-adm ceph]# ceph-deploy osd activate  node-mon:/dev/sdb1
[root@ms-adm ceph]# ceph-deploy osd activate  node-osd:/dev/sdb1
[root@ms-adm ceph]# ceph-deploy osd list  ms-adm  node-osd node-mon   //查看盘状态

[root@ms-adm ceph]# ceph-deploy osd list  ms-adm
...
[ms-adm][DEBUG ] connected to host: ms-adm
...
[ms-adm][INFO  ] ceph-0
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] Path           /var/lib/ceph/osd/ceph-0
[ms-adm][INFO  ] ID             0
[ms-adm][INFO  ] Name           osd.0
[ms-adm][INFO  ] Status         up
[ms-adm][INFO  ] Reweight       1.0
[ms-adm][INFO  ] Magic          ceph osd volume v026
[ms-adm][INFO  ] Journal_uuid   1097292f-7941-4aac-9d37-98a15ab3eb47
[ms-adm][INFO  ] Active         ok
[ms-adm][INFO  ] Device         /dev/sdb1
[ms-adm][INFO  ] Whoami         0
[ms-adm][INFO  ] Journal path   /dev/sdb2
[ms-adm][INFO  ] ----------------------------------------

创建ceph文件系统

[root@ms-adm ceph]# ceph-deploy mds create ms-adm  node-mon node-osd
...
[node-osd][INFO  ] Running command: systemctl start ceph-mds@node-osd
[node-osd][INFO  ] Running command: systemctl enable ceph.target

[root@ms-adm ceph]# ceph fs ls     //查看当前系统
No filesystems enabled

一个cephfs 至少要求两个librados存储池，一个为data，一个为metadata。当配置这两个存储池时，注意:c
1.为 metadata pool设置较高级别的副本级别，因为metadata的损坏可能导致整个文件系统不用
2.建议,metadata pool使用低延时存储，比如SSD，因为metadata 会直接影响客户端的响应速度。

创建存储池

[root@ms-adm ceph]# ceph osd pool create cephfs_data 128
pool 'cephfs_data' created
[root@ms-adm ceph]# ceph osd pool create cephfs_metadata 128
pool 'cephfs_metadata' created

关于创建存储池-
确定pg_num取值是强制性的，因为不能自动计算。下面是几个常用的值:

OSD少于5个时可把pg_num设置为128
OSD数量在5到10个时，可把pg_num设置为512
OSD 数量在10 到50 个时，可把pg_num设置为4096
OSD 数量大于50时，你得理解权衡方法、以及如何自己计算pg_num 取值
自己计算pg_num取值时可借助pgcalc工具
随着OSD 数量的增加，正确的 pg_num取值变得更加重要,因为它显著地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率)。

创建文件系统
创建好存储池后，你就可以用fs new命令创建文件系统了e

[root@ms-adm ceph]# ceph fs new ceph-test  cephfs_metadata cephfs_data
new fs with metadata pool 2 and data pool 1    //创建成功

[root@ms-adm ceph]# ceph fs ls     //查看创建的cephfs
name: ceph-test, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
[root@ms-adm ceph]# ceph mds stat    //查看osd节点状态
e7: 1/1/1 up {0=node-mon=up:active}, 2 up:standby    //2up 热备份

[root@ms-adm ceph]# ceph -s
    cluster 7aca1836-1145-4b18-b452-9cb90faf98af
     health HEALTH_WARN
            too many PGs per OSD (320 > max 300)
     monmap e1: 3 mons at {ms-adm=192.168.1.11:6789/0,node-mon=192.168.1.12:6789/0,node-osd=192.168.1.13:6789/0}
            election epoch 6, quorum 0,1,2 ms-adm,node-mon,node-osd
      fsmap e7: 1/1/1 up {0=node-mon=up:active}, 2 up:standby
     osdmap e19: 3 osds: 3 up, 3 in
            flags sortbitwise,require_jewel_osds
      pgmap v44: 320 pgs, 3 pools, 2068 bytes data, 20 objects
            328 MB used, 45718 MB / 46046 MB avail
                 320 active+clean

[root@ms-adm ceph]# ceph -s
		health HEALTH_WARN
            too many PGs per OSD (320 > max 300)
问题原因是集群osd 数量较少，在我的测试过程中，由于搭建rgw网关、和OpenStack集成等，创建了大量的pool，每个pool要占用一些pg ，ceph集群默认每块磁盘都有默认值，好像每个osd 为300个pgs，不过这个默认值是可以调整的，但调整得过大或者过小都会对集群的性能产生一定影响。因为我们这个是测试环境，只要能消除掉报错即可。查询当前每个osd下最大的pg报警值： 
[root@ms-adm ceph]# ceph --show-config  | grep mon_pg_warn_max_per_osd
mon_pg_warn_max_per_osd = 300

解决方案
在配置文件中，调大集群的此选项的告警阀值；方法如下，在mon节点的ceph.conf（/etc/ceph/ceph.conf）配置文件中添加:
vi /etc/ceph/ceph.conf
[global]
.......
mon_pg_warn_max_per_osd = 1000
systemctl restart ceph-mon.target
再次查看ceph集群状态。

$ ceph -s

扩容 把目录做成osd，当然也可以是别的硬盘

加入 ms-adm、node-mon下的目录
[root@ms-adm ~]# mkdir /var/local/osd1
[root@ms-adm ~]# chmod 777 /var/local/osd1/
[root@node-mon ~]# mkdir /var/local/osd1
[root@node-mon ~]# chmod 777 /var/local/osd1/

#回到ms-adm，准备osd
[root@ms-adm ~]# cd ceph/
[root@ms-adm ceph]# ceph-deploy osd prepare ms-adm:/var/local/osd1 node-mon:/var/local/osd1


#激活osd
[root@ms-adm ceph]# ceph-deploy osd activate ms-adm:/var/local/osd1 node-mon:/var/local/osd1

[root@ms-adm ceph]# ceph-deploy osd list  ms-adm  node-osd node-mon
一共5个osd  第一批osd.0-2    ，第二批刚刚创建的osd.3-4
[root@ms-adm ceph]# ceph-deploy osd list  ms-adm
//这里查看ms-adm上的osd。
[ms-adm][INFO  ] ceph-0
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] Path           /var/lib/ceph/osd/ceph-0
[ms-adm][INFO  ] ID             0
[ms-adm][INFO  ] Name           osd.0
[ms-adm][INFO  ] Status         up
[ms-adm][INFO  ] Reweight       1.0
[ms-adm][INFO  ] Magic          ceph osd volume v026
[ms-adm][INFO  ] Journal_uuid   1097292f-7941-4aac-9d37-98a15ab3eb47
[ms-adm][INFO  ] Active         ok
[ms-adm][INFO  ] Device         /dev/sdb1     //osd.0  有磁盘，显示了device
[ms-adm][INFO  ] Whoami         0
[ms-adm][INFO  ] Journal path   /dev/sdb2
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] ceph-3						
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] Path           /var/lib/ceph/osd/ceph-3
[ms-adm][INFO  ] ID             3
[ms-adm][INFO  ] Name           osd.3           //osd.3 是目录，没有设备
[ms-adm][INFO  ] Status         up
[ms-adm][INFO  ] Reweight       1.0
[ms-adm][INFO  ] Active         ok             //激活状态
[ms-adm][INFO  ] Magic          ceph osd volume v026
[ms-adm][INFO  ] Whoami         3
[ms-adm][INFO  ] Journal path   /var/local/osd1/journal
[ms-adm][INFO  ] ----------------------------------------

缩容

以osd.0举例，查看osd.0状态

[root@ms-adm ceph]# ceph-deploy osd list  ms-adm
//这里查看ms-adm上的osd。
[ms-adm][INFO  ] ceph-0
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] Path           /var/lib/ceph/osd/ceph-0
[ms-adm][INFO  ] ID             0
[ms-adm][INFO  ] Name           osd.0
[ms-adm][INFO  ] Status         up            //处于up状态

停掉进程

[root@ms-adm ceph]# systemctl stop ceph-osd@0
[root@ms-adm ceph]# ceph-deploy osd list  ms-adm
[ms-adm][INFO  ] ceph-0
[ms-adm][INFO  ] ----------------------------------------
[ms-adm][INFO  ] Path           /var/lib/ceph/osd/ceph-0
[ms-adm][INFO  ] ID             0
[ms-adm][INFO  ] Name           osd.0
[ms-adm][INFO  ] Status         down           //处于了down状态
[ms-adm][INFO  ] Reweight       1.0

删除osd 删除节点

//停掉进程
[root@node-osd ~]# systemctl stop  ceph-osd@1.service
// 将节点标记成  out  down 状态  告诉mon节点不能再进行服务了。
[root@ms-adm ceph]# ceph osd out 0
marked out osd.0.
[root@ms-adm ceph]# ceph osd down 0
osd.0 is already down.
// 移除节点
[root@ms-adm ceph]# ceph osd crush remove osd.0
removed item id 0 name 'osd.0' from crush map
// 删除节点
[root@ms-adm ceph]# ceph osd rm 0
removed osd.0
//删除节点认证
[root@ms-adm ceph]# ceph  auth del osd.0
updated
[root@ms-adm ceph]# ceph osd tree
ID WEIGHT  TYPE NAME         UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.01659 root default
-2 0.01659     host node-osd
[root@ms-adm ceph]# ceph osd crush rm  cephtest003
[root@ms-adm ceph]# ceph osd tree     //host node-osd已经删除

添加节点 192.168.1.14 add

selinux防火墙hosts免密登录时间同步安装基础包ok后
[root@ms-adm ceph]# vim ceph.conf       //这里新加了mon，增加了配置
mon_initial_members = node-osd,add
mon_host = 192.168.1.17,192.168.1.14
[root@ms-adm ceph]# ceph-deploy install add
[root@ms-adm ceph]# ceph-deploy mon create add     //这里加了mon角色
[root@ms-adm ceph]# ceph-deploy admin add
[root@ms-adm ceph]# ceph-deploy --overwrite-conf config push ms-adm node-mon node-osd add
[root@ms-adm ceph]# ceph mon stat
e2: 2 mons at {add=192.168.1.14:6789/0,node-osd=192.168.1.17:6789/0}, 
[root@ms-adm ceph]# ceph-deploy disk list add
add][DEBUG ] /dev/sdb other, unknown
[root@ms-adm ceph]# ceph-deploy osd prepare add:/dev/sdb
[add][WARNIN] command_check_call: Running command: /usr/sbin/mkfs -t xfs -f -i size=2048 -- /dev/sdb1
[root@ms-adm ceph]# ceph-deploy osd activate add:/dev/sdb1
[root@ms-adm ceph]# ceph osd tree
ID WEIGHT  TYPE NAME         UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.03117 root default
-2 0.01659     host node-osd
 0 0.01659         osd.0          up  1.00000          1.00000
-3 0.01459     host add        //新节点上的osd创建成功
 1 0.01459         osd.1          up  1.00000          1.00000

删除节点

[root@node-osd ~]# ls /var/lib/ceph/osd/
ceph-0
[root@node-osd ~]# umount /var/lib/ceph/osd/ceph-0/
移除mon
[root@ms-adm ceph]# ceph mon stat
e1: 1 mons at {node-osd=192.168.1.17:6789/0}, election epoch 3, quorum 0 node-osd
[root@ms-adm ceph]# ceph mon remove node-osd
修改ceph.conf
[root@ms-adm ceph]# cat ceph.conf
[global]
fsid = 9dc4f319-9510-4142-85ca-b92a90d68f85
mon_initial_members = node-osd
mon_host = 192.168.1.17     //删除掉移除的mon
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
推送 修改的ceph.conf到所在节点上
[root@ms-adm ceph]# ceph-deploy --overwrite-conf admin   ms-adm  node-mon 
修改 /etc/ceph 目录权限(所有节点执行)
chown -R cephadmin:cephadmin /etc/ceph
[root@ms-adm ceph]# ceph -s
    cluster 9dc4f319-9510-4142-85ca-b92a90d68f85
     health HEALTH_OK
     monmap e3: 1 mons at {node-osd=192.168.1.17:6789/0}
            election epoch 5, quorum 0 node-osd
     osdmap e18: 2 osds: 2 up, 1 in
            flags sortbitwise,require_jewel_osds
      pgmap v2020: 64 pgs, 1 pools, 0 bytes data, 0 objects
            7024 MB used, 10369 MB / 17394 MB avail
                  64 active+clean
[root@ms-adm ceph]# ceph mon stat
e3: 1 mons at {node-osd=192.168.1.17:6789/0}, election epoch 5, quorum 0 node-osd
[root@ms-adm ceph]# ceph-deploy uninstall add
如有，待删除节点上关闭mgr 服务即可
[root@ms-adm ceph]# ceph -s
[root@node-osd ~]# systemctl status ceph-mgr.target

Ceph维护命令

1、osd
OSD全称Object Storage Device，主要是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。
使用rbd存储的前提，需要内核支持rbd
[root@ms-adm ~]# modprobe  rbd
[root@ms-adm ~]# lsmod | grep  rbd      //查看内核是否支持rbd，没有就升级内核

2、pool池
pool是ceph存储数据时的逻辑分区，每个pool包含一定数量的PG，PG里的对象被映射到不同的OSD上，因此pool是分布
到整个集群的。除了隔离数据，我们也可以分别对不同的POOL设置不同的优化策略，比如副本数、数据清洗次数、数据
块及对象大小等。

3、image
它将被条带化为 N 个子数据块，每个数据块将会被以对象（object）形式保存在 RADOS 对象存储中

rbd常用命令
1)、创建一个pool池
[root@ms-adm ~]# ceph osd pool create testpool 256       //256   pg_num,见前面的定义
2)、创建rbd
[root@ms-adm ~]# rbd create testpool/myrbd --size 10240       //10240MB
3)、映射块设备到自己机器
[root@ms-adm ~]# rbd feature disable  testpool/myrbd object-map fast-diff deep-flatten
	//需要禁用，否则挂载不成功
[root@ms-adm ~]# rbd map testpool/myrbd  显示如下
/dev/rbd0
4)、挂载使用
[root@ms-adm ~]# mkdir /mnt/firstrbd 
[root@ms-adm ~]# mkfs.xfs /dev/rbd0
[root@ms-adm ~]# mount /dev/rbd0 /mnt/firstrbd

挂载cephfs文件系统
1、创建ceph子目录
为了别的地方能挂载cephfs，先创建一个secretfile
[root@ms-adm ~]# cat /etc/ceph/ceph.client.admin.keyring | grep key|awk -F " " {print $3}’    \   
> /etc/ceph/admin.secret
挂载cephfs的根目录到集群的mon节点下的一个目录,比如test_data,因为挂载后，我们就可以直接在test_data下面用Linux命令创建子目录了。
[root@ms-adm ~]# mkdir test_data
[root@ms-adm ~]# mount -t ceph 192.168.1.111:6789:/ /root/test_data -o name=admin, secretfile=/etc/ceph/admin.secrete
[root@ms-adm ~]# df -h
192.168.1.11:6789:/ 15G 106M 15G 1% /root/test_data
在cephfs 的根目录里面创建了一个子目录kube，k8s 以后就可以挂载这个目录
[root@ms-adm ~]# cd /root/test_data
[root@ms-adm ~]# mkdir /root/test_data/kube
[root@ms-adm ~]# chmod 0777 /root/test_data/kube