ceph方式部署三节点集群

一、部署准备
本次使用Ceph版本：
• Ceph：Nautilus（14.2.9）
• Ceph-deploy：2.0.1
IP地址 主机名 附加磁盘（OSD） 集群角色
192.168.220.130 ceph-node1 mon，mgr，（主节点）（也可以再加一块磁盘 ）
192.168.220.131 ceph-node2 一块20G磁盘（/dev/sdb） osd1
192.168.220.132 ceph-node3 一块20G磁盘（/dev/sdb） osd2
本次测试节点信息：
如果环境允许，可以用一个ceph-admin节点专门放置mon,mgr,mds等这些组件，osd放置在其他节点，更便于管理
服务器系统版本
[root@ceph-node1 ~]# cat /etc/centos-release
CentOS Linux release 7.8.2003 (Core)
1、关闭防火墙和selinux
sed -i “s/SELINUX=enforcing/SELINUX=permissive/g” /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
2、配置hosts文件
保证集群内主机名与ip解析正常（每个节点都需要配置）
[root@ceph-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.220.130 ceph-node1
192.168.220.131 ceph-node2
192.168.220.132 ceph-node3
[root@ceph-node1 ~]# ping ceph-node2
PING ceph-node2 (192.168.220.131) 56(84) bytes of data.
64 bytes from ceph-node2 (192.168.220.131): icmp_seq=1 ttl=64 time=0.281 ms
64 bytes from ceph-node2 (192.168.220.131): icmp_seq=2 ttl=64 time=0.169 ms…………
3、创建部署用户及配置sudo权限（所有节点都执行）
a.考虑到使用root用户的安全性问题，所以这里创建一个 ceph-admin 普通用户做为部署及运维使用
b.再加上ceph-deploy会在节点安装软件包，所以创建的用户需要无密码 sudo 权限
[root@ceph-node1 ~]# useradd ceph-admin
[root@ceph-node1 ~]# echo “123456” | passwd --stdin ceph-admin
Changing password for user ceph-admin.
passwd: all authentication tokens updated successfully.

[root@ceph-node1 ~]# echo “ceph-admin ALL = NOPASSWD:ALL” | tee /etc/sudoers.d/ceph-admin
ceph-admin ALL = NOPASSWD:ALL
[root@ceph-node1 ~]# chmod 0440 /etc/sudoers.d/ceph-admin
[root@ceph-node1 ~]# ll /etc/sudoers.d/ceph-admin
-r–r-----. 1 root root 30 Oct 19 16:06 /etc/sudoers.d/ceph-admin

测试
[root@ceph-node1 ~]# su - ceph-admin
Last login: Mon Oct 19 16:11:51 CST 2020 on pts/0
[ceph-admin@ceph-node1 ~]$ sudo su -
Last login: Mon Oct 19 16:12:04 CST 2020 on pts/0
[root@ceph-node1 ~]# exit
logout
[ceph-admin@ceph-node1 ~]$ exit
logout
4、配置ssh无密码访问（在主节点node1上执行）
[root@ceph-node1 ~]# su - ceph-admin
[ceph-admin@ceph-node1 ~]$ ssh-keygen （每一步都按回车，口令密码留空）
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node1
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node2
[ceph-admin@ceph-node1 ~]$ ssh-copy-id ceph-admin@ceph-node3

5、配置ntp时间同步
配置时间同步目的：因在时间一致的情况下，才可保证集群正常运行
配置时间同步方式：node1连接网络上的ntp服务器同步时间，node2,3连接node1同步时间（即node1既为ntp服务端，也为客户端）
注：ntpd启动后需要等待几分钟去同步
yum -y intall ntp（安装ntp，全部节点都需要执行）

node1节点操作：
vim /etc/ntp.conf
注释掉默认的配置项：
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
添加配置项：
server ntp1.aliyun.com #阿里云ntp服务器
server 127.127.1.0 #本地ntp服务器，配置此项是为了在外网ntp连接异常的情况下还能保证ntp正常，维护集群稳定

node2/node3节点操作：
vim /etc/ntp.conf
同样注释掉默认的server配置项：
添加配置项：
server 192.168.220.132 #node1-ntp服务器

全部节点都执行：
systemctl restart ntpd
systemctl enable ntpd

查看ntp连接情况和状态
[root@ceph-node1 ~]# ntpq -p

[root@ceph-node2 ~]# ntpq -p

[root@ceph-node3 ~]# ntpq -p

二、开始部署Ceph集群
1、添加阿里云的base源和epel源（所有节点都执行）
备份系统原本的源
[root@ceph-node1 ~]# mkdir /mnt/repo_bak
[root@ceph-node1 ~]# mv /etc/yum.repos.d/* /mnt/repo_bak
添加新源
[root@ceph-node1 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
[root@ceph-node1 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
2、添加ceph的yum源（所有节点都执行）
注意事项：
这里的yum源是确定了ceph的版本，在源中的baseurl项中rpm-nautilus即代表着是ceph的nautilus版本的rpm包（nautilus是ceph的14.x版本）如果需要安装其他版本，还需要替换为其他版本号，12.x版本是luminous，13.x版本是rpm-mimic。详情可以去ceph官方源中查看：https://download.ceph.com/
vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph
baseurl=http://download.ceph.com/rpm-nautilus/el7/x86_64
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

更新yum缓存及系统软件
yum makecache
yum -y update
可查看ceph版本，判断yum是否配置正确
[root@ceph-node1 yum.repos.d]# yum list ceph --showduplicates |sort -r

[root@ceph-node1 yum.repos.d]# yum list ceph-deploy --showduplicates |sort -r

3、安装ceph-deploy（在主节点node1上执行）
[root@ceph-node1 ~]# su - ceph-admin
[ceph-admin@ceph-node1 ~]$ sudo yum -y install python-setuptools #安装ceph依赖包
[ceph-admin@ceph-node1 ~]$ sudo yum install ceph-deploy （默认会选择安装2.0最新版本）

查看ceph-deploy安装版本
[root@ceph-node1 ~]# ceph-deploy --version

4、初始化集群（在主节点node1上执行）
创建集群安装目录（ceph-deploy部署程序会将文件输出到当前目录）
[ceph-admin@ceph-node1 ~]$ mkdir cluster
[ceph-admin@ceph-node1 ~]$ cd cluster/
创建集群（后边是指定哪些节点做为mon监视器使用，所以选择规划中部署mon的节点-node1）
[ceph-admin@ceph-node1 cluster]$ ceph-deploy new ceph-node1
[ceph_deploy.conf][DEBUG ] found configuration file at: /home/ceph-admin/.cephdeploy.conf
[ceph_deploy.cli][INFO ] Invoked (2.0.1): /bin/ceph-deploy new ceph-node1
[ceph_deploy.cli][INFO ] ceph-deploy options:
[ceph_deploy.cli][INFO ] username : None
[ceph_deploy.cli][INFO ] func : <function new at 0x7f14c44c9de8>
[ceph_deploy.cli][INFO ] verbose : False
[ceph_deploy.cli][INFO ] overwrite_conf : False
[ceph_deploy.cli][INFO ] quiet : False
[ceph_deploy.cli][INFO ] cd_conf : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f14c3c424d0>
[ceph_deploy.cli][INFO ] cluster : ceph
[ceph_deploy.cli][INFO ] ssh_copykey : True
[ceph_deploy.cli][INFO ] mon : [‘ceph-node1’]
[ceph_deploy.cli][INFO ] public_network : None
[ceph_deploy.cli][INFO ] ceph_conf : None
[ceph_deploy.cli][INFO ] cluster_network : None
[ceph_deploy.cli][INFO ] default_release : False
[ceph_deploy.cli][INFO ] fsid : None
[ceph_deploy.new][DEBUG ] Creating new cluster named ceph
[ceph_deploy.new][INFO ] making sure passwordless SSH succeeds
[ceph-node1][DEBUG ] connection detected need for sudo
[ceph-node1][DEBUG ] connected to host: ceph-node1
[ceph-node1][DEBUG ] detect platform information from remote host
[ceph-node1][DEBUG ] detect machine type
[ceph-node1][DEBUG ] find the location of an executable
[ceph-node1][INFO ] Running command: sudo /usr/sbin/ip link show
[ceph-node1][INFO ] Running command: sudo /usr/sbin/ip addr show
[ceph-node1][DEBUG ] IP addresses found: [u’192.168.56.125’]
[ceph_deploy.new][DEBUG ] Resolving host ceph-node1
[ceph_deploy.new][DEBUG ] Monitor ceph-node1 at 192.168.56.125
[ceph_deploy.new][DEBUG ] Monitor initial members are [‘ceph-node1’]
[ceph_deploy.new][DEBUG ] Monitor addrs are [‘192.168.56.125’]
[ceph_deploy.new][DEBUG ] Creating a random mon key…
[ceph_deploy.new][DEBUG ] Writing monitor keyring to ceph.mon.keyring…
[ceph_deploy.new][DEBUG ] Writing initial config to ceph.conf…

[ceph-admin@ceph-node1 cluster]$ ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring
在当前目录下的ceph.conf中添加以下两行内容
public_network = 192.168.56.0/24
cluster_network = 192.168.56.0/24
安装Ceph包至其他节点
（其中 --no-adjust-repos 参数含义：使用本地配置的源，不更改源。以防出现问题）
[ceph-admin@ceph-node1 cluster]$ ceph-deploy install --no-adjust-repos ceph-node1 ceph-node2 ceph-node3
• 1
初始化mon节点
在2.0.1版本的ceph-deploy中在该初始化的时候就会做收集密钥的动作，无需再执行 ceph-deploy gatherkeys
{monitor-host} 这个命令
[ceph-admin@ceph-node1 cluster]$ ceph-deploy mon create-initial
• 1
5、添加OSD
如果是里边有数据的磁盘，还需先清除数据：（详细可查看 ceph-depoy disk zap --help）
列出所有节点上所有可用的磁盘
[ceph-admin@ceph-node1 cluster]$ ceph-deploy disk list ceph-node1 ceph-node2 ceph-node3
清除数据
sudo ceph-deploy disk zap {osd-server-name} {disk-name}
eg：sudo ceph-deploy disk zap ceph-node2 /dev/sdb
如果是干净的磁盘，可忽略上边清除数据的操作，直接添加OSD即可
（我这里是新添加的/dev/sdb磁盘）
######################[ceph-admin@ceph-node1 cluster]$ ceph-deploy osd create --data /dev/sdb ceph-node1#####################需要三个节点都加磁盘再添加

[ceph-admin@ceph-node1 cluster]$ ceph-deploy osd create --data /dev/sdb ceph-node2
[ceph-admin@ceph-node1 cluster]$ ceph-deploy osd create --data /dev/sdb ceph-node3
可以看到cpeh将新增OSD创建为LVM格式加入ceph集群中
[ceph-admin@ceph-node1 cluster]$ sudo pvs
PV VG Fmt Attr PSize PFree
/dev/sdb ceph-ab1b8533-018e-4924-8520-fdbefbb7d184 lvm2 a-- <10.00g 0
6、允许主机以管理员权限执行 Ceph 命令
将ceph-deploy命令将配置文件和 admin key复制到各个ceph节点，其他节点主机也能管理ceph集群
[ceph-admin@ceph-node1 cluster]$ ceph-deploy admin ceph-node1 ceph-node2 ceph-node3

7、部署MGR用于获取集群信息
[ceph-admin@ceph-node1 cluster]$ ceph-deploy mgr create ceph-node1

查看集群状态
[ceph-admin@ceph-node1 cluster]$ sudo ceph health detail
HEALTH_OK
[ceph-admin@ceph-node1 cluster]$ sudo ceph -s

因/etc/ceph/下key文件普通用户没有读权限，所以普通用户无权直接执行ceph命令
如果需要ceph-admin普通用户也可直接调用集群，增加对ceph配置文件的读权限即可
（想要每个节点普通用户都可以执行ceph相关命令，那就所有节点都修改权限）
[ceph-admin@ceph-node1 ~]$ ll /etc/ceph/
total 12
-rw-------. 1 root root 151 Oct 21 17:33 ceph.client.admin.keyring
-rw-r–r--. 1 root root 268 Oct 21 17:35 ceph.conf
-rw-r–r--. 1 root root 92 Oct 20 04:48 rbdmap
-rw-------. 1 root root 0 Oct 21 17:30 tmpcmU035
[ceph-admin@ceph-node1 ~]$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring
[ceph-admin@ceph-node1 ~]$ ll /etc/ceph/
total 12
-rw-r–r--. 1 root root 151 Oct 21 17:33 ceph.client.admin.keyring
-rw-r–r--. 1 root root 268 Oct 21 17:35 ceph.conf
-rw-r–r--. 1 root root 92 Oct 20 04:48 rbdmap
-rw-------. 1 root root 0 Oct 21 17:30 tmpcmU035
[ceph-admin@ceph-node1 ~]$ ceph -s
cluster:
id: 130b5ac0-938a-4fd2-ba6f-3d37e1a4e908
health: HEALTH_OK

services:
mon: 1 daemons, quorum ceph-node1 (age 20h)
mgr: ceph-node1(active, since 20h)
osd: 3 osds: 3 up (since 20h), 3 in (since 20h)

data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 3.0 GiB used, 27 GiB / 30 GiB avail
pgs:
三、配置Mgr-Dashboard模块
开启dashboard模块
[ceph-admin@ceph-node1 ~]$ sudo ceph mgr module enable dashboard
• 1
如果报错如下：
Error ENOENT: all mgr daemons do not support module ‘dashboard’, pass --force to force enablement
• 1
那是因为没有安装ceph-mgr-dashboard，在mgr节点上安装即可
[ceph-admin@ceph-node1 ~]$ sudo yum -y install ceph-mgr-dashboard
默认情况下，仪表板的所有HTTP连接均使用SSL/TLS进行保护。
要快速启动并运行仪表板，可以使用以下命令生成并安装自签名证书
[ceph-admin@ceph-node1 ~]$ sudo ceph dashboard create-self-signed-cert
Self-signed certificate created
创建具有管理员角色的用户:
[ceph-admin@ceph-node1 ~]$ sudo ceph dashboard set-login-credentials admin admin

---

*** WARNING: this command is deprecated. ***
*** Please use the ac-user-* related commands to manage users. ***

---

Username and password updated
查看ceph-mgr服务:
[ceph-admin@ceph-node1 ~]$ sudo ceph mgr services
{
“dashboard”: “https://ceph-node1:8443/”
}
浏览器访问测试:
http://192.168.220.130:8443

ceph中遇到Error的解决办法

1、出现的错误[2]。No data was received after 300 seconds, disconnecting…。原因是网络比较慢,达到5分钟超时。
解决办法是：
分别在每个节点上安装ceph，yum -y install ceph。
2、出现的错误[3]。[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version。这个错误和上面【2】的错误的解决办法一样。
3、安装ceph时，出现的错误，大致Error是：over-write。导致这个问题原因是修改了ceph用户里的ceph.conf文件，没有把这个文件内的最新信息发送给其他节点，所以要刷新信息，解决命令有两个：
一是：ceph-deploy --overwrite-conf config push node1-4
或者：ceph-deploy --overwrite-conf mon create node1-4
4、出现Error：RuntimeError: Failed to execute command: yum -y install epel-release
解决方法：yum -y remove ceph-release
5、在执行命令ceph osd tree时，发现节点名字不是node1-4时，判断是不是已经修改主机名成功，修改主机名称命令是： hostnamectl set-hostname name
6 osd节点起不来
[root@admin-node my-cluster]# ceph -s
clusterbeca06a9-c4c3-443d-9d85-fbc6d620c173
health HEALTH_WARN
64 pgs degraded
64 pgs stuckunclean
64 pgs undersized
monmap e1: 1 mons at{admin-node=10.0.3.88:6789/0}
election epoch 3,quorum 0 admin-node
osdmap e7: 2 osds: 1 up,1 in
flags sortbitwise
pgmap v29: 64 pgs, 1pools, 0 bytes data, 0 objects
6644 MB used,44544 MB / 51188 MB avail
64active+undersized+degraded
[root@admin-node my-cluster]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.09760 root default
-2 0.04880 hostadmin-node
0 0.04880 osd.0 up 1.00000 1.00000
-3 0.04880 host node1
10.04880 osd.1 down 0 1.00000

解决办法：

1.  关闭防火墙
   

2.  检查ssh无密钥登录配置
   

3.  一般情况下，osd节点启动较慢，等待5分钟左右即可