原创申明:本文为博主原创,转载请注明出处!
这篇文档主要介绍ceph的搭建过程。
集群规划
服务器规划及配置,如下:
hostname | public ip | cluster ip | 节点说明 |
---|---|---|---|
ch-osd-1 | 172.16.30.73 | 172.16.31.73 | osd节点 |
ch-osd-2 | 172.16.30.72 | 172.16.31.72 | osd节点 |
ch-osd-3 | 172.16.30.75 | 172.16.31.75 | osd节点 |
ch-osd-4 | 172.16.30.77 | 172.16.31.77 | osd节点 |
ch-mon-1 | 172.16.30.78 | 172.16.31.78 | mon+rgw+manger节点 |
ch-mon-2 | 172.16.30.79 | 172.16.31.79 | mon+rgw节点 |
ch-mon-3 | 172.16.30.80 | 172.16.31.80 | mon+rgw节点 |
- 操作系统:centos release 7.2
- CPU:OSD节点为Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz * 48 ,MON节点为Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz * 32;
- 内存大小:OSD 为256GB; MON为64GB
- 数据硬盘配置(不含系统盘):OSD 为1.2TB SAS * 3和480G SSD * 1,其中SSD不是必要的,我们这里主要存放journal,MON单独部署可以不需要数据盘
- 网络配置:public 网络和 cluster 均为万兆光纤
- 每台服务器第1,2块磁盘做RAID1;其余磁盘做RAID0
- ch-mon-1节点作为管理节点,部署ceph-deploy
- Ceph版本:目前最新版 v12.1.2
- ceph-deploy版本:1.5.38
- 这里使用root用户安装,如果不是root用户,应该拥有root权限
环境准备
基础环境检查
- 网络连接正常(方法略)
- ntp服务正常(方法略)
- 集群服务器时间,时区一致(方法略)
- 防火墙策略,开端口6789,6800:7300
- SELINUX设置为Permissive或者禁掉
- 磁盘阵列检查
首先需要在存储节点安装Megacli,下载RPM包,如MegaCli-8.07.14-1.noarch.rpm,安装命令如下:
rpm -ivh MegaCli-8.07.14-1.noarch.rpm
使用磁盘阵列检查工具Megacli进行相关检查,查看是否满足需要的配置策略。
/opt/MegaRAID/MegaCli64 -LDGetProp -Cache -LALL -aALL
一般情况可在安装操作系统前对各硬盘做好磁盘阵列,不同厂商的设备磁盘阵列配置略有不同,这里不做详述。如果没做磁盘阵列,这里需要做磁盘阵列,使用MegaCli来对磁盘做日常管理。
OSD数据盘做RAID0 &#