博客已迁移,新博客地址:https://www.wxtechblog.com
一、配置说明
1、 硬件配置
(1) 3台相同配置的ceph存储节点物理机,配置如下:
CPU : Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz
内存 : 8G
网卡 : 1G网卡一个
磁盘3块:[1] 500G 安装OS
[2] 500G 磁盘作如下安排:
- 一个50G分区,存储osd journal信息
- 一个20G分区,存储mds元数据信息
[3] 2T 存储ceph的数据
2、 软件
3台存储节点安装centos 7.4(官方桌面版镜像以minimal方式安装)
3、架构
- mon节点数量为3,分布在3台服务器上
- osd节点数量为3,分布在3台服务器上
- mds节点数量为3,分布在3台服务器上
- 每台服务器都包含一个mon节点,一个osd节点,一个mds节点(每台服务器可以有多个osd服务,但只能有一个mon服务和一个mds服务)。
二、安装ceph
(一)安装ceph前配置所有物理机器
注:每台ceph节点机器可按需执行防火墙相关步骤
1、在所有节点物理机设定相同的时间同步服务器
(1)打开文件/etc/chrony.conf,将原来的server相关行屏蔽或删掉,添加如下内容:
注:可以根据需要修改为其它时间同步服务器
server time4.aliyun.com iburst
(2)重启时间同步守护进程
service chronyd restart
(3)在所有存储节点物理机上执行下述命令查看同步的时间源是否相同
- 注:若未显示任何时间源,查看一下DNS服务器有没有正确配置
chronyc sources
2、打开防火墙端口
(1)在mon服务所在物理机上执行下述命令获取相关网卡所在区域
firewall-cmd --get-active-zones
(2)在mon服务所在物理机上执行下述命令在相关区域为mon服务打开防火墙
firewall-cmd --zone=[NIC's zone] --add-service=ceph-mon --permanent firewall-cmd --reload
例如:
firewall-cmd --zone=public --add-service=ceph-mon --permanent firewall-cmd --reload
(3)在osd 和mds 服务所在物理机执行下述命令获取网卡所在区域
firewall-cmd --get-active-zones
(4)在osd 和mds 服务所在物理机执行下述命令在相关区域为osd和mds服务打开防火
firewall-cmd --zone=[NIC's zone] --add-service=ceph --permanent firewall-cmd --reload
例如:
firewall-cmd --zone=public --add-service=ceph --permanent firewall-cmd --reload
3、关闭全部ceph节点物理机的selinux(也可以按需自己配制selinux)
打开文件/etc/selinux/config,修改如下内容为:
SELINUX=disabled
4、创建文件夹
mkdir /etc/ceph
5、关闭NetworkManager
systemctl stop NetworkManager;systemctl disable NetworkManager
6、编辑文件/etc/resolv.conf,写入下述内容(或其它合适的dns域名)
nameserver 8.8.8.8
7、修改主机名
- 步骤1:使用命令修改主机名(注:NEW_HOSTNAME是新的主机名,每台物理机使用不同的主机名)
hostnamectl set-hostname [NEW_HOSTNAME]
示例:
hostnamectl set-hostname ceph-1
- 步骤2:修改主机名配置文件/etc/hosts,添加如下行
127.0.0.1 [NEW_HOSTNAME]
示例:
127.0.0.1 ceph-1
8、重启机器
(二)配置初始的mon节点服务器(任选一台服务器做为初始节点)
1、创建配置文件ceph.conf
(1)使用vim命令新建文件/etc/ceph/ceph.conf,写入下述内容
注:HOST_NAME是初始mon节点物理机的主机名,HOST_IP是对应物理机的ip
[global] fsid = mon_initial_members = [HOST_NAME] mon_host = [HOST_IP] auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx
(2)执行下述命令获取uuid
uuidgen
(3)将产生的uuid填入/etc/ceph/ceph.conf文件中fsid处
文件/etc/ceph/ceph.conf 内容示例:
[global] fsid = 722d96fc-5cbc-4de2-b707-e72ceb83b7ac mon_initial_members = cep