ceph分布式存储---手动部署ceph存储集群

部署ceph存储集群

软件信息：

         操作系统:    Linux release 7.4.1708 (Core)

         内核版本：3.10.0-693.el7.x86_64

         Ceph版本：0.94.6

主机信息：

         Ceph210   10.220.218.210  (osd)

         Ceph211   10.220.218.211   (osd)

         Ceph212   10.220.218.212 （mon  osd）

本次部署ceph 0.94.6无外网，使用yum方式的代理，配置yum代理如下：

       # vim /etc/yum.conf

       proxy=http://10.63.229.85:3128

       proxy=https://10.63.229.85:3128

       exclude= *0.94.10* *0.94.9* *0.94.8* *0.94.7*  （  安装ceph 0.94.6版本，忽略较高的ceph版本）

 

一、环境准备

1.1主机间ssh免秘钥登录

[root@ceph211 ~] ssh-keygen –t rsa

[root@ceph211 ~] ssh-copy-id –i /root/.ssh/id.rsz.pub root@10.220.218.211

      

1.2 添加hosts,配置主机名

              # vi /etc/hosts

              10.220.128.210  ceph210

              10.220.128.211  ceph211

              10.220.128.212  ceph212 

      

1.3 关闭防火墙、selinux

              # systemctl stop firewalld

              # sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

              # sentenforce 0

      

1.4 配置yum源（建议国内）、配置ceph.repo源

[Ceph]

name=Ceph packages for $basearch

baseurl=http://download.ceph.com/rpm-hammer/el7/$basearch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

[Ceph-noarch]

name=Ceph noarch packages

baseurl=http://download.ceph.com/rpm-hammer/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

[ceph-source]

name=Ceph source packages

baseurl=http://download.ceph.com/rpm-hammer/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

      

# yum clean all

# yum repolist

# yum makecache

 

     

二、手动部署ceph

------主节点上操作：10.220.128.212  ceph212

 

2.1 安装ceph

       # yum install ceph –y

       # ceph –v

       ceph version 0.94.6 (e832001feaf8c176593e0325c8298e3f16dfb403)

 

2.2创建ceph配置文件

创建配置文件前，定义uuid作为集群fsid：uuidgen

       # uuidgen

       86a1432a-d9ca-4d87-a5c5-6f92c1db0961

编辑配置文件：

       # vim /etc/ceph/ceph.conf

       fsid = 86a1432a-d9ca-4d87-a5c5-6f92c1db0961

       mon initial members = ceph212

       mon host = 10.220.128.212

       public network = 10.220.128.0/24

       auth cluster required = cephx

       auth service required = cephx

       osd journal size = 1024

       filestore xattr use omap = true

       osd pool default size = 2

      osd pool default min  size = 1

2.3 创建mon组件;

创建必要的秘钥环：

         #ceph-authtool --create-keyring /etc/ceph/ceph.mon.keyring --gen-key \

         >>-n mon. --cap mon 'allow *‘

创建client.admi秘钥:

        # ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring \

       >> --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' \

       >>--cap osd 'allow *' --cap mds 'allow '

 

将client.admin秘钥导入到mon秘钥当中

       # ceph-authtool /etc/ceph/ceph.mon.keyring \

       >>--import-keyring /etc/ceph/ceph.client.admin.keyring

创建mon map:

       # monmaptool –create –add ceph212 10.220.128.212 \

      >>--fsid 86a1432a-d9ca-4d87-a5c5-6f92c1db0961 /etc/ceph/monmap

 

初始化mon：

       # ceph-mon –mkfs –I ceph212 –monmap /etc/ceph/monmap \

       >> --keyring /etc/ceph/ceph.mon.keyring

 

启动mon：

      # service ceph start mon

 

2.4 创建osd节点：

  创建osd:

                     # uuidgen

                     16fe9c78-64b6-47c6-a616-f404ccdadf3a

                     #ceph osd create 16fe9c78-64b6-47c6-a616-f404ccdadf3a

                     0

创建osd数据目录：

                     # mkdir –p /data/osd.0

 

硬盘分区：

                     # parted -s /dev/sdb mklabel gpt  做条带化

                     # parted -s /dev/sdb mkpart journal xfs 2048s 10G     第一块磁盘分10G 名字journal 格式xfs

                     # parted -s /dev/sdb mkpart data xfs 10G 100%           第二块磁盘分剩余的 名字data 格式xfs

                     # mkfs.xfs -f /dev/sdb1                        格式化为xfs格式

                     # mkfs.xfs -f /dev/sdb2                        格式化为xfs格式

 

挂载：

                     # mount /dev/sdb2 /data/osd.0

 

配置ceph配置文件，添加如下：

              [osd.0]

              host = ceph212

              uuid = 16fe9c78-64b6-47c6-a616-f404ccdadf3a

              devs = /dev/disk/by-partuuid/8fde5b17-0dee-430e-8620-357110b13c8d

              osd journal = /dev/disk/by-partuuid/7124b95c-470f-4332-853f-40a7f77c82e6

 

初始化osd数据目录：

       # ceph-osd -i 0 –-mkfs --mkkey \

       >>--osd-uuid 16fe9c78-64b6-47c6-a616-f404ccdadf3a

 

将osd秘钥添加至集群：

       # ceph auth add osd.$ID osd 'allow *' mon 'allow profile osd'\

       >>-i "/data/osd.$ID"/keyring

 

启动osd：

       # service ceph start osd.0

 

查看集群状态：

       # ceph –s  

【至此，ceph集群手动部署完成。】