Ceph分布式存储集群环境搭建以及节点扩容流程
文章目录
1.Ceph分布式存储集群安装方式
ceph-deploy:一个快速部署集群的工具,ceph-deploy不再维护,Ceph采用的是Nautilus版本,如果操作系统是CentOS8那么将不支持ceph-deploy方式的搭建。
Cephadm:使用容器和systemd安装和管理Ceph集群,目前比较流行的部署方式,部署Octopus版本的Ceph建议使用此方法。
ceph-ansible:使用Ansible部署和管理 Ceph 集群。
INSTALLATION (MANUAL):手动方式安装,了解部署Ceph的细节。
ROOK:部署和管理在Kubernetes中运行的Ceph集群,同时还支持通过Kubernetes API管理存储资源和配置,如果要与K8S集成,可以使用此种方式。
2.Ceph集群环境规划以及架构图
2.1.Ceph集群规划
由三个节点组成Ceph集群,每一个节点中添加两块网卡,一块网卡用于对外提供访问,一块网卡用于集群内部通信,每一个节点上暂时分别有2块网卡,后期做其他配置时再进行添加。
主机名
Poblic通信IP
Cluster通信IP
服务
硬盘
ceph-node-1
192.168.20.20
192.168.30.20
monitor、osd
sda、sdb
ceph-node-2
192.168.20.21
192.168.30.21
monitor、osd
sda、sdb
ceph-node-3
192.168.20.22
192.168.30.22
monitor、osd
sda、sdb
2.2.Ceph集群部署架构图
1、Ceph-deploy组件用于部署整个Ceph集群,安装在任意节点都可以。
2、Monitor组件在集群中十分重要,我们部署成集群模式,共有三个节点。
3、RGW组件是实现对象存储的重要组件,我们部署成集群模式,三个节点,由于RGW是无状态的WEB服务,因此通过两个Haproxy组件分别负载三个节点,并由Keepalived配置成高可用集群。
4、Mgr组件负责监控服务,也部署成集群模式,共有三个节点。
5、MDS组件是实现Cephfs文件系统的重要组件,因此也部署成集群模式,共有三个节点。
6、OSD组件是实际存储数据的组件,每个节点中都部署了两个OSD服务,后期也会进行扩容。
3.搭建Ceph分布式存储集群
3.1.基础环境配置
所有节点都按如下进行配置。
1)设置主机名并配置Hosts解析
[root@localhost ~]# hostnamectl set-hostname ceph-node-1
[root@localhost ~]# hostnamectl set-hostname ceph-node-2
[root@localhost ~]# hostnamectl set-hostname ceph-node-3
# vim /etc/hosts
192.168.20.20 ceph-node-1
192.168.20.21 ceph-node-2
192.168.20.22 ceph-node-3
2)设置ssh免密登陆
# ssh-keygen
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.20.20
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.20.21
# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.20.22
3)关闭防火墙以及Selinux
# systemctl stop firewalld
# systemctl disable firewalld
# setenforce 0