Ceph分布式存储集群环境搭建以及节点扩容流程

Ceph分布式存储集群环境搭建以及节点扩容流程

文章目录

• Ceph分布式存储集群环境搭建以及节点扩容流程
• • 1.Ceph分布式存储集群安装方式
  • 2.Ceph集群环境规划以及架构图
  • • 2.1.Ceph集群规划
    • 2.2.Ceph集群部署架构图
  • 3.搭建Ceph分布式存储集群
  • • 3.1.基础环境配置
    • 3.2.配置Ceph yum源
    • 3.3.安装Ceph-deploy自动化部署工具
    • 3.4.在ceph-node-1节点中安装Monitor组件
    • • 3.4.1.首先初始化创建一个Ceph集群
      • 3.4.2.在ceph-node-1节点中部署Monitor组件（顺便将其他组件一并安装完成）
      • 3.4.3.初始化Monitor组件
      • 3.4.4.推送生成的Monitor admin认证文件
    • 3.5.在ceph-node-1节点中安装Manager组件
    • 3.6.在集群中部署OSD组件
  • 4.Ceph集群扩容节点
  • • 4.1.扩容Monitor集群节点
    • • 4.1.1.在Monitor集群中添加新的节点
      • 4.1.2.使用ceph命令管理Monitor组件
      • • 4.1.2.1.查看Monitor集群的详细信息
        • 4.1.2.2.查看Monitor集群的状态
        • 4.1.2.3.查看Monitor集群地址的详细信息
    • 4.2.扩容Manager集群节点

1.Ceph分布式存储集群安装方式

ceph-deploy：一个快速部署集群的工具，ceph-deploy不再维护，Ceph采用的是Nautilus版本，如果操作系统是CentOS8那么将不支持ceph-deploy方式的搭建。

Cephadm：使用容器和systemd安装和管理Ceph集群，目前比较流行的部署方式，部署Octopus版本的Ceph建议使用此方法。

ceph-ansible：使用Ansible部署和管理 Ceph 集群。

INSTALLATION (MANUAL)：手动方式安装，了解部署Ceph的细节。

ROOK：部署和管理在Kubernetes中运行的Ceph集群，同时还支持通过Kubernetes API管理存储资源和配置，如果要与K8S集成，可以使用此种方式。

2.Ceph集群环境规划以及架构图

2.1.Ceph集群规划

由三个节点组成Ceph集群，每一个节点中添加两块网卡，一块网卡用于对外提供访问，一块网卡用于集群内部通信，每一个节点上暂时分别有2块网卡，后期做其他配置时再进行添加。

主机名

Poblic通信IP

Cluster通信IP

服务

硬盘

ceph-node-1

192.168.20.20

192.168.30.20

monitor、osd

sda、sdb

ceph-node-2

192.168.20.21

192.168.30.21

monitor、osd

sda、sdb

ceph-node-3

192.168.20.22

192.168.30.22

monitor、osd

sda、sdb

2.2.Ceph集群部署架构图

1、Ceph-deploy组件用于部署整个Ceph集群，安装在任意节点都可以。

2、Monitor组件在集群中十分重要，我们部署成集群模式，共有三个节点。

3、RGW组件是实现对象存储的重要组件，我们部署成集群模式，三个节点，由于RGW是无状态的WEB服务，因此通过两个Haproxy组件分别负载三个节点，并由Keepalived配置成高可用集群。

4、Mgr组件负责监控服务，也部署成集群模式，共有三个节点。

5、MDS组件是实现Cephfs文件系统的重要组件，因此也部署成集群模式，共有三个节点。

6、OSD组件是实际存储数据的组件，每个节点中都部署了两个OSD服务，后期也会进行扩容。

3.搭建Ceph分布式存储集群

3.1.基础环境配置

所有节点都按如下进行配置。

1）设置主机名并配置Hosts解析

[root@localhost ~]# hostnamectl set-hostname ceph-node-1
[root@localhost ~]# hostnamectl set-hostname ceph-node-2
[root@localhost ~]# hostnamectl set-hostname ceph-node-3

# vim /etc/hosts
192.168.20.20 ceph-node-1
192.168.20.21 ceph-node-2
192.168.20.22 ceph-node-3

2）设置ssh免密登陆

# ssh-keygen 
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.20.20
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.20.21
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.20.22

3）关闭防火墙以及Selinux

# systemctl stop firewalld
# systemctl disable firewalld
# setenforce 0