搭建ceph存储集群的具体步骤

ceph是一种可以提供存储集群服务的软件

   它可以实现将主机做成存储集群，并提供分布式文件存储的功能
    ceph服务可以提供三种存储方式：
        1.块存储
        2.对象存储
        2.文件系统存储

这里我将介绍如何使用ceph搭建一个存储集群：

环境介绍：

   	node1 node2 node3 这三台主机作为存储集群服务器，分别都有3块10G的硬盘，并且我会将node1及作为存储服务器也作为管理主机(管理存储服务器的服务器)
    将client作为访问的客户端
    node1 node2 node3这第三台服务器要配置NTP同步服务，同步client的NTP服务，分别配置yum源以及node1免密以及/etc/hosts文件

1.环境配置，这里部分简单的就省略了：

(1)配置/etc/hosts文件，实现本机的域名解析

 [root@node1 ~]# cat /etc/hosts      #切忌不要将本机的回环地址删了，只需要添加命令即可，不要删东西
            192.168.4.50 client
            192.168.4.51 node1
            192.168.4.52 node2
            192.168.4.53 node3
      为了方便要保证node2 node3 这两台主机上的/etc/hosts文件都是有这些命令的

(2)在node1管理主机上配置免密操作：

        [root@node1 ~]# ssh-keygen -N '' -f /root/.ssh/id_rsa
        [root@node1 ~]# ssh-copy-id node1
        [root@node1 ~]# ssh-copy-id node2
        [root@node1 ~]# ssh-copy-id node3
        [root@node1 ~]# ssh-copy-id client

(3)拷贝yum源为其他主机，保证每个主机上的yum源都有需要安装的软件包

        [root@node1 ~]# scp /etc/yum.repos.d/ceph.repo node2
        [root@node1 ~]# scp /etc/yum.repos.d/ceph.repo node3
        [root@node1 ~]# scp /etc/yum.repos.d/ceph.repo client

2.在node1管理主机上创建存储集群的功能目录以及配置集群

(1)在node1上安装提供存储集群服务的软件包 ceph-deploy.noarch

        [root@node1 ~]# yum -y install ceph-deploy.noarch

(2)在node1管理主机上创建一个自定义目录ceph-cluster

        [root@node1 ~]# mkdir ceph-cluster
        [root@node1 ~]# cd ceph-cluster

(3)指定node1 node2 node3为存储集群服务器，创建存储集群服务器

        [root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3     #这里耐心等待，会花一段时间

(4)为所有的存储集群服务器安装ceph-deploy工具

        [root@node1 ceph-cluster]# ceph-deploy install node1 node2 node3

(5)为所有集群初始化monitor这个监控程序

        [root@node1 ceph-cluster]# ceph-deploy mon create-initial

(6)为node1 node2 node3将/dev/vdb分两个区，作为/dev/vdc /dev/vdd这两块磁盘的日志盘

        [root@node1 ceph-cluster]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
        [root@node1 ceph-cluster]# parted /dev/vdc mkpart primary 50% 100%
        [root@node2 ~]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
        [root@node2 ~]# parted /dev/vdc mkpart primary 50% 100%
        [root@node3 ~]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
        [root@node3 ~]# parted /dev/vdc mkpart primary 50% 100%

(7)为日志盘设置归属，保证ceph用户后续存放日志才有权限

        [root@node1 ceph-cluster]# chown ceph:ceph /dev/vdc*
        [root@node2 ~]# chown ceph:ceph /dev/vdc*       #这些是临时设置，要想重启也有效需要写到/etc/rc.local文件下并且服务x权限
        [root@node3 ~]# chown ceph:ceph /dev/vdc*
            永久设置：以node2为例
                [root@node2 ~]# echo "chown ceph:ceph /dev/vdc*" >> /etc/rc.local
                [root@node2 ~]# chmod +x /etc/rc.local

(8)在node1管理主机上格式化所有需要共享的磁盘/dev/vdb /dev/vdd #这些都是在node1管理主机上操作的

        [root@node1 ceph-cluster]# ceph-deploy disk zap node1:vdb node1:vdd
        [root@node1 ceph-cluster]# ceph-deploy disk zap node2:vdb node2:vdd
        [root@node1 ceph-cluster]# ceph-deploy disk zap node3:vdb node3:vdd

(9)创建osd磁盘，这些也都是在管理主机上做就可以了

        [root@node1 ceph-cluster]# ceph-deploy osd create node1:vdb:/dev/vdc1 node1:vdd:/dev/vdc2
        [root@node1 ceph-cluster]# ceph-deploy osd create node2:vdb:/dev/vdc1 node2:vdd:/dev/vdc2
        [root@node1 ceph-cluster]# ceph-deploy osd create node3:vdb:/dev/vdc1 node3:vdd:/dev/vdc2

3.ceph存储集群就搭建好了，这里使用ceph -s命令检查状态，只有是OK才是正常的

	    [root@node1 ceph-cluster]# ceph -s
	    cluster e9877c9f-d0ca-40c6-9af4-19c5c9dea10c
	    health HEALTH_OK
	      .......
	    [root@node1 ceph-cluster]# ceph osd lspools                 #创建存储集群后默认会为我们自动创建一个存储池
	     0 rbd,