CEPH运维之安装部署（luminous）

---

原创申明：本文为博主原创，转载请注明出处！

---

这篇文档主要介绍ceph的搭建过程。

集群规划

服务器规划及配置，如下：

hostname	public ip	cluster ip	节点说明
ch-osd-1	172.16.30.73	172.16.31.73	osd节点
ch-osd-2	172.16.30.72	172.16.31.72	osd节点
ch-osd-3	172.16.30.75	172.16.31.75	osd节点
ch-osd-4	172.16.30.77	172.16.31.77	osd节点
ch-mon-1	172.16.30.78	172.16.31.78	mon+rgw+manger节点
ch-mon-2	172.16.30.79	172.16.31.79	mon+rgw节点
ch-mon-3	172.16.30.80	172.16.31.80	mon+rgw节点

- 操作系统：centos release 7.2
- CPU：OSD节点为Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz * 48 ，MON节点为Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz * 32；
- 内存大小：OSD 为256GB； MON为64GB
- 数据硬盘配置（不含系统盘）：OSD 为1.2TB SAS * 3和480G SSD * 1，其中SSD不是必要的，我们这里主要存放journal，MON单独部署可以不需要数据盘
- 网络配置：public 网络和 cluster 均为万兆光纤
- 每台服务器第1，2块磁盘做RAID1；其余磁盘做RAID0
- ch-mon-1节点作为管理节点，部署ceph-deploy
- Ceph版本：目前最新版 v12.1.2
- ceph-deploy版本：1.5.38
- 这里使用root用户安装，如果不是root用户，应该拥有root权限

环境准备

基础环境检查

1. 网络连接正常（方法略）
2. ntp服务正常（方法略）
3. 集群服务器时间，时区一致（方法略）
4. 防火墙策略，开端口6789，6800：7300
5. SELINUX设置为Permissive或者禁掉
6. 磁盘阵列检查

首先需要在存储节点安装Megacli，下载RPM包，如MegaCli-8.07.14-1.noarch.rpm，安装命令如下：

rpm -ivh MegaCli-8.07.14-1.noarch.rpm

使用磁盘阵列检查工具Megacli进行相关检查，查看是否满足需要的配置策略。

/opt/MegaRAID/MegaCli64 -LDGetProp -Cache -LALL -aALL

一般情况可在安装操作系统前对各硬盘做好磁盘阵列，不同厂商的设备磁盘阵列配置略有不同，这里不做详述。如果没做磁盘阵列，这里需要做磁盘阵列，使用MegaCli来对磁盘做日常管理。

OSD数据盘做RAID0 &#