ceph分布式环境搭建

修改Host

在主节点和所有子节点上面都进行下面的修改操作

vi /etc/hosts
 
192.168.47.131 node-1
192.168.47.132 node-2
192.168.47.133 node-3
 
# 每台主机设置 hostname，这里以 node-1 为例子
hostnamectl set-hostname node-1

配置完查看hostname

配置密钥基于ssh的认证(主节点才操作)

# 不输入密码
ssh-keygen 
 
ssh-copy-id -i ~/.ssh/id_rsa.pub node-2
ssh-copy-id -i ~/.ssh/id_rsa.pub node-3
ssh-copy-id -i ~/.ssh/id_rsa.pub node-1
 
# 测试
ssh node-2
ssh node-3
ssh node-1

关闭 firewalld 和 selinux

systemctl disable firewalld
systemctl stop firewalld
 
# 修改配置
vi /etc/selinux/config
SELINUX=disabled

setenforce 0

设置时间同步

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum install epel-release -y 
yum install ntp -y 
 
vi /etc/ntp.conf 
# 注释下面4行，添加阿里云时间同步服务器
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp.aliyun.com iburst
 
service ntpd start
chkconfig ntpd on
ntpq -pn

添加 ceph 源并进行安装

vi /etc/yum.repos.d/ceph.repo
[norch]
name=norch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0
 
[x86_64]
name=x86_64
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0
 
yum install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds -y 

克隆出节点

在管理节点 node-1 安装 ceph-deploy

yum install ceph-deploy python-setuptools

生成初始化配置

mkdir /data/ceph-deploy -p 
cd /data/ceph-deploy/

初始化第一个 MON 节点，若你的集群中有专门的网络可供 ceph 传输内部数据，可以指定 --cluster-network 网络

ceph-deploy new --public-network 192.168.47.0/22 node-1

初始monitor、并收集所有密钥

ceph-deploy mon create-initial

把配置文件和admin密钥拷贝到Ceph集群各节点，以免得每次执行"ceph"命令行时不得不明确指定MON节点地址和ceph.client，admin.keyring

ceph-deploy admin node-1 node-2 node-3

第二次推的时候需要加参数（–overwrite-conf）

ceph-deploy --overwrite-conf admin node-1 node-2 node-3

配置Manager节点，启动ceph-mgr进程(仅Luminious+版本)︰

ceph-deploy mgr create node-1

查看集群状态

ceph -s

把 node-1, node-2 和 node-3 上的设备 vdb 添加为 OSD

lsblk 
blkid 
 
ceph-deploy osd create node-1 --data /dev/sdb
ceph-deploy osd create node-2 --data /dev/sdb
ceph-deploy osd create node-3 --data /dev/sdb
 
#列出指定节点上的 OSD：
ceph-deploy osd list node-1 
 
ceph osd tree

把 node-2,node-3 设置为监视器节点

ceph-deploy mon add node-2 
ceph-deploy mon add node-3

查看集群状态

ceph -s

查看监视器及法定人数的相关状态

ceph quorum_status --format json-pretty
ceph mon stat