1、通过套接字进行单机管理
node节点:
[root@ceph-node1 ~]# ll /var/run/ceph/
total 0
drwxrwx--- 2 ceph ceph 140 Aug 19 08:46 ./
drwxr-xr-x 25 root root 840 Aug 19 11:26 ../
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.0.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.1.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.2.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.3.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.4.asok=
mon节点:
root@ceph-mon1:~# ll /var/run/ceph/
total 0
drwxrwx--- 2 ceph ceph 60 Aug 7 11:41 ./
drwxr-xr-x 25 root root 880 Aug 7 13:10 ../
srwxr-xr-x 1 ceph ceph 0 Aug 7 11:41 ceph-mon.ceph-mon1.asok=
#可在 node 节点或者 mon 节点通过 ceph 命令进行单机管理本机的 mon 或者 osd 服务:
#先将 admin 认证文件同步到 mon 或者 node 节点:
cephadmin@ceph-deploy:/home/ceph/ceph-cluster$scp ceph.client.admin.keyring
root@172.31.6.101:/etc/ceph
[root@ceph-node1 ~]# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok --help
root@ceph-node1:~# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok pg stat
#帮助信息:
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok help
#mon 状态:
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok mon_status
#查看配置信息:
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok config show
2、Ceph集群的停止和启动
重启之前,要提前设置 ceph 集群不要将 OSD 标记为 out,避免 node 节点关闭服务后被踢出
ceph 集群外:
[cephadmin@ceph-deploy ceph-cluster]$ ceph osd set noout #关闭服务前设置 noout
noout is set
[cephadmin@ceph-deploy ceph-cluster]$ ceph osd unset noout #启动服务后取消 noout
noout is unset
2.1 关闭顺序
#关闭服务前设置 noout
关闭存储客户端停止读写数据
如果使用了 RGW,关闭 RGW systemctl stop xxxx
关闭 cephfs 元数据服务 systemctl stop ceph-mdsxxxx
关闭 ceph OSD systemctl stop ceph-osdxxxx
关闭 ceph manager systemctl stop ceph-mgrxxxx
关闭 ceph monitor systemctl stop ceph-monxxxx
2.2 启动顺序
启动 ceph monitor
启动 ceph manager
启动 ceph OSD
启动 cephfs 元数据服务
启动 RGW
启动存储客户端
#启动服务后取消 noout-->ceph osd unset noout
3、添加服务器
1.系统优化、加仓库源
2.ceph-deploy install --release pacific ceph-nodeX
3.列出目的磁盘、擦除磁盘
ceph-deploy disk zap ceph-nodex /dev/sdx
4.添加 osd:
sudo ceph-deploy osd create ceph-nodex --data /dev/sdx
4、删除osd或服务器
1 把 osd 踢出集群
ceph osd out 1
2.等一段时间数据副本同步
3.停止 osd.x 进程
4.删除 osd
ceph osd rm 1
删除服务器
停止服务器之前要把服务器的 OSD 先停止并从 ceph 集群删除
1 把 osd 踢出集群
ceph osd out 1
2.等一段时间
3.停止 osd.x 进程
4.删除 osd
ceph osd rm 1
5.当前主机的其它磁盘重复以上操作
6.OSD 全部操作完成后下线主机
7.ceph osd crush rm ceph-node1 #从 crush 删除 ceph-node1
5、Ceph配置文件
Ceph 的主配置文件是/etc/ceph/ceph.conf,ceph 服务在启动时会检查 cep.conf,分号;和#在
配置文件中都是注释,ceph.conf 主要由以下配置段组成:
[global] #全局配置
[osd] #osd 专用配置,可以使用 osd.N,来表示某一个 OSD 专用配置,N 为 osd 的编号,如0、2、1 等。
[mon] #mon 专用配置,也可以使用 mon.A 来为某一个 monitor 节点做专用配置,其中 A 为该节点的名称,ceph-monitor-2、ceph-monitor-1 等,使用命令 ceph mon dump 可以获取节点的名称
[client] #客户端专用配置。
ceph文件的加载顺序
$CEPH_CONF 环境变量
-c 指定的位置
/etc/ceph/ceph.conf
~/.ceph/ceph.conf
./ceph.conf