centos7 通过cephadm部署ceph octopus版本

导读：
1.从零部署一个ceph集群
2.ceph block device与cephfs快速入门
3.ceph 对象存储快速入门
4.Ceph存储集群&配置

ceph部署(manual)

hostname	host ip
ceph-admin	10.10.128.174
ceph-node1	10.10.128.175
ceph-node2	10.10.128.176

3个节点部署docker环境

配置docker repo

[root@ceph-admin ~]# yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
如果没有这条命令，可以先安装yum-utils包
[root@ceph-admin ~]# yum install docker-ce -y
启动docker并设置开机自启
[root@ceph-admin ~]# systemctl start docker ; systemctl enable docker

3个节点获取安装包

通过cephadm脚本

[root@ceph-admin ~]# curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm

授予执行权限

[root@ceph-admin ~]# chmod +x cephadm

基于发行版的名称配置ceph仓库

[root@ceph-admin ~]#  ./cephadm add-repo --release octopus

3个节点执行cephadm安装程序

执行安装脚本

[root@ceph-admin ~]#  ./cephadm install

验证一下ceph已经在PATH中了

[root@ceph-admin ~]# which cephadm
/usr/sbin/cephadm

部署集群中第一个mon

[root@ceph-admin ~]# mkdir -p /etc/ceph
[root@ceph-admin ~]# cephadm bootstrap --mon-ip 10.10.128.174

上述两条指令会为我们完成以下工作：

• 创建mon
• 创建ssh key并且添加到 /root/.ssh/authorized_keys 文件
• 将集群间通信的最小配置写入/etc/ceph/ceph.conf
• 将client.admin管理secret密钥的副本写入/etc/ceph/ceph.client.admin.keyring。
• 将公用密钥的副本写入/etc/ceph/ceph.pub

cephadm shell命令在装有所有Ceph软件包的容器中启动bash shell。默认情况下，如果在主机上的/etc/ceph中找到配置文件和keyring文件，它们将被传递到容器环境中，从而使Shell可以正常运行。 若是在MON主机上执行时，cephadm Shell将使用MON容器的配置，而不是使用默认配置。 如果给出了–mount ，则主机 （文件或目录）将出现在容器内的/mnt下：为了方便使用，可以给cephadm shell换个名字

[root@ceph-admin ~]# alias ceph='cephadm shell -- ceph'
想要永久生效可以编辑/etc/bashrc
alias ceph='cephadm shell -- ceph'

添加新的节点到集群

如果要添加新的节点到集群，要将ssh 公钥推送到新的节点authorized_keys文件中

[root@ceph-admin ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-node1
[root@ceph-admin ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-node2

告诉Ceph，新节点是集群的一部分

[root@ceph-admin ~]# ceph orch host add  ceph-node1
[root@ceph-admin ~]# ceph orch host add  ceph-node2

添加mon

一个典型的Ceph集群具有三个或五个分布在不同主机上的mon守护程序。 如果群集中有五个或更多节点，建议部署五个监视器。

当Ceph知道监视器应该使用哪个IP子网时，它可以随着群集的增长（或收缩）自动部署和扩展mon。 默认情况下，Ceph假定其他mon应使用与第一台mon的IP相同的子网。

如果的Ceph mon（或整个群集）位于单个子网中，则默认情况下，向群集中添加新主机时，cephadm会自动最多添加5个监视器。 无需其他步骤。

我本次3个节点，调整默认3个mon

[root@ceph-admin ~]# ceph orch apply mon 3

部署mon到指定节点

[r