使用cephadm部署Ceph记录

前言

Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性，支持块存储、文件存储和对象存储。

为了研究一下分布式存储，特别是对象存储，现在就来部署一下。

 以下是安装过程的记录。

参考的官方英文文档：

Deploying a new Ceph cluster — Ceph Documentation

安装步骤

1.准备工作

按文档准备齐全这些： 

• Python 3

• Systemd

• Podman or Docker for running containers

• Time synchronization (such as Chrony or the legacy ntpd)

• LVM2 for provisioning storage devices

准备好集群

我这次是使用的centos stream 9，ip和主机名：

这个也是需要配置到/etc/hosts的：

192.168.3.206  ceph-stroage01
192.168.3.207  ceph-stroage02
192.168.3.208  ceph-stroage03

2. 安装cephadm

运行

dnf search release-ceph
dnf install --assumeyes centos-release-ceph-reef
dnf install --assumeyes cephadm

3.安装ceph

运行

cephadm bootstrap --mon-ip 192.168.3.206

3.从上一步运行后获取的信息登入dashboard

 

4.进入cluster-host ，添加host

在此之前，需要在node1运行：

ssh-copy-id -f -i /etc/ceph/ceph.pub root@192.168.3.207
ssh-copy-id -f -i /etc/ceph/ceph.pub root@192.168.3.208

创建OSD：

虚拟机挂在数据盘fdisk -l查看数据盘：

命令行执行

ceph orch daemon add osd ceph-stroage01:/dev/nvme0n2
ceph orch daemon add osd ceph-stroage02:/dev/nvme0n2
ceph orch daemon add osd ceph-stroage03:/dev/nvme0n2

在界面就出现了：

创建pool，这里选择是块存储还是对象存储：

5.创建rgw

在标记为rgw的主机分别创建两个端口为8000和8001的rgw服务，一共有6个rgw实例

ceph orch apply rgw wgs_rgw '--placement=label:rgw count-per-host:2' --port=8000

创建桶：

验证

这一套装下来之后，对象存储已经可用，但最好还是结合具体业务来验证，这里就不多说了。

总结

ceph的部署就到这里吧，还是那句话，不要为部署而部署，要结合自己的业务。部署、填坑并不是一件好玩的事情。希望这个部署记录对大家有所帮助吧。