手动部署ceph jewel

 

博客已迁移，新博客地址：https://www.wxtechblog.com

 

一、配置说明

1、 硬件配置

(1) 3台相同配置的ceph存储节点物理机，配置如下: 

CPU　 ：   Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
内存　 ：   8G 
网卡　 ：  1G网卡一个
磁盘3块：

[1] 500G 安装OS 
[2] 500G 磁盘作如下安排： 

• 一个50G分区，存储osd journal信息
• 一个20G分区，存储mds元数据信息

[3] 2T 存储ceph的数据

2、 软件

3台存储节点安装centos 7.4(官方桌面版镜像以minimal方式安装) 

3、架构 

• mon节点数量为3，分布在3台服务器上 
• osd节点数量为3，分布在3台服务器上 
• mds节点数量为3，分布在3台服务器上 
• 每台服务器都包含一个mon节点，一个osd节点，一个mds节点（每台服务器可以有多个osd服务，但只能有一个mon服务和一个mds服务）。

二、安装ceph

（一）安装ceph前配置所有物理机器 

注：每台ceph节点机器可按需执行防火墙相关步骤

1、在所有节点物理机设定相同的时间同步服务器 

（1）打开文件/etc/chrony.conf，将原来的server相关行屏蔽或删掉，添加如下内容：

注：可以根据需要修改为其它时间同步服务器

server time4.aliyun.com iburst

（2）重启时间同步守护进程

service chronyd restart

（3）在所有存储节点物理机上执行下述命令查看同步的时间源是否相同

• 注：若未显示任何时间源，查看一下DNS服务器有没有正确配置

chronyc sources

2、打开防火墙端口 

（1）在mon服务所在物理机上执行下述命令获取相关网卡所在区域

firewall-cmd --get-active-zones

（2）在mon服务所在物理机上执行下述命令在相关区域为mon服务打开防火墙

firewall-cmd --zone=[NIC's zone] --add-service=ceph-mon --permanent 
firewall-cmd --reload

例如：

firewall-cmd --zone=public --add-service=ceph-mon --permanent 
firewall-cmd --reload

（3）在osd 和mds 服务所在物理机执行下述命令获取网卡所在区域

firewall-cmd --get-active-zones

（4）在osd 和mds 服务所在物理机执行下述命令在相关区域为osd和mds服务打开防火

firewall-cmd --zone=[NIC's zone] --add-service=ceph --permanent 
firewall-cmd --reload

例如：

firewall-cmd --zone=public --add-service=ceph --permanent 
firewall-cmd --reload

3、关闭全部ceph节点物理机的selinux（也可以按需自己配制selinux） 

打开文件/etc/selinux/config，修改如下内容为:  

SELINUX=disabled

4、创建文件夹

mkdir /etc/ceph

5、关闭NetworkManager

systemctl stop NetworkManager;systemctl disable NetworkManager

6、编辑文件/etc/resolv.conf，写入下述内容（或其它合适的dns域名）

nameserver 8.8.8.8

7、修改主机名

• 步骤1：使用命令修改主机名（注：NEW_HOSTNAME是新的主机名，每台物理机使用不同的主机名）

hostnamectl set-hostname [NEW_HOSTNAME]

  示例：

hostnamectl set-hostname ceph-1

• 步骤2：修改主机名配置文件/etc/hosts，添加如下行

127.0.0.1   [NEW_HOSTNAME]

  示例：

127.0.0.1   ceph-1

8、重启机器

（二）配置初始的mon节点服务器（任选一台服务器做为初始节点）

1、创建配置文件ceph.conf 

（1）使用vim命令新建文件/etc/ceph/ceph.conf，写入下述内容

注：HOST_NAME是初始mon节点物理机的主机名，HOST_IP是对应物理机的ip

[global]
fsid = 
mon_initial_members = [HOST_NAME]
mon_host = [HOST_IP]
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

（2）执行下述命令获取uuid

uuidgen

（3）将产生的uuid填入/etc/ceph/ceph.conf文件中fsid处

文件/etc/ceph/ceph.conf 内容示例：

[global]
fsid = 722d96fc-5cbc-4de2-b707-e72ceb83b7ac
mon_initial_members = cep