UOS安装部署Ceph集群（一）

本篇文章介绍Ceph集群部署，

包括：实验环境说明、集群基础环境、创建Ceph集群

块存储（rbd）、文件存储（cephfs）、对象存储（rgw）详细介绍，请点击链接跳转。

Ceph产品这里不就介绍了，网上有很多资料可查。直接上实验~

实验过程：

    1、Ceph架构图

    2、实验环境说明

    3、Ceph集群基础环境调试

    4、创建Ceph集群

    5、块存储（rbd）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客-CSDN博客

    6、文件存储（cephfs）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客-CSDN博客

    7、对象存储（rgw）UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客-CSDN博客

1、Ceph架构图

2、实验环境说明

UOS Server + Ceph

 

 

3、Ceph集群基础环境调试

如无特殊说明，以下操作在所有节点上

3.1 修改主机名

    # hostnamectl set-hostname node1

    # hostnamectl set-hostname node2

    # hostnamectl set-hostname node3

    # hostnamectl set-hostname client

3.2 配置host解析

    # vi /etc/hosts

      192.168.26.110  node1

      192.168.26.120  node2

      192.168.26.130  node3

      192.168.26.140  client

3.3 配置时间同步

    # apt update && apt -y install chrony

    # vi /etc/chrony/chrony.conf

       server 192.168.26.110        #增加一行

       systemctl start chronyd

3.4 允许root ssh登录

    # vi /etc/ssh/sshd_config

        PermitRootLogin yes

        PasswordAuthentication yes

    # systemctl restart sshd

3.5 配置免密登录（以node1为例）

    # ssh-keygen

    # ssh-copy-id root@192.168.26.120

    # ssh-copy-id root@192.168.26.130

    # ssh-copy-id root@192.168.26.140

3.6 配置apt源

    # vi /etc/apt/sources.list

        #--ceph-deploy源

 deb [trusted=yes] http://aptly.uniontech.com/pkg/fou-1040/release-candidate/Y2VwaDIwMjEtMDItMDM  unstable main

 deb  [trusted=yes] http://aptly.uniontech.com/pkg/fou-1040/release-candidate/Y2VwaC1kZXBsb3kyMDIxLTAxLTI5  unstable main

        #--1040-ceph源

  deb http://pools.corp.deepin.com/server-enterprise/  fou/1040  main contrib non-free

  deb http://pools.corp.deepin.com/ppa/dde-fou/  fou/1040  main contrib non-free

    # apt update

到这里，基础环境就配置完了，如果是第一次玩，最好做个快照方便还原。

如无特殊说明，以下操作在所有节点上

4、创建Ceph集群

4.1 安装ceph、ceph-deploy

    # apt -y install ceph

    # apt -y install ceph-deploy

4.2 微调配置文件

    # vi /usr/lib/python2.7/dist-packages/ceph_deploy/calamari.py   

        ##第16行，增加 ,'uos'

    # vi /usr/lib/python2.7/dist-packages/ceph_deploy/hosts/__init__.py

        ##第93行，增加 ‘uos’:   debian

    # vi /usr/lib/python2.7/dist-packages/ceph_deploy/hosts/debian/install.py

        ##注释第66行

        distro.conn.remote_module.write_sources_list(url, codename)

如无特殊说明，以下操作在node1上

4.3 创建Ceph集群

创建ceph集群目录

    # mkdir /ceph

    # cd /ceph

    # ceph-deploy new node1 node2 node3

    

    # ls    可以看到目录下生成的配置文件

    

    # vi ceph.conf    

        ##尾部增加下面3行

        public network = 192.168.26.0/24

        osd pool default size = 9

        osd pool default min size = 1

4.4 创建Monitor

    # ceph-deploy mon create-initial 

    

    # cp ceph.client.admin.keyring /etc/ceph

    # cp ceph.mon.keyring   /etc/ceph

    # cp ceph.bootstrap-osd.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

查看集群状态

    # ceph –s

    

查看mon状态

    # ceph mon stat

    

node2、node3节点同步配置

    # scp /etc/ceph/* node2:/etc/ceph/

    # scp /etc/ceph/* node3:/etc/ceph/

    # scp ceph.bootstrap-osd.keyring node2:/var/lib/ceph/bootstrap-osd/ceph.keyring

    # scp ceph.bootstrap-osd.keyring node3:/var/lib/ceph/bootstrap-osd/ceph.keyring

4.5 创建OSD

如无特殊说明，以下操作在node1上

查看集群OSD信息

    # ceph osd tree

    

查看磁盘信息

    # lsblk

    

擦除分区信息

    # ceph-deploy disk zap node1 /dev/sdb /dev/sdc /dev/sdd

    

创建OSD

    # ceph-deploy osd create node1 --data /dev/sdb

    # ceph-deploy osd create node1 --data /dev/sdc

    # ceph-deploy osd create node1 --data /dev/sdd

    

查看集群OSD信息

    # ceph osd tree

    

查看集群状态

    # ceph –s

    

    如果提示：no active mgr，说明没有osd守护进程

    # ceph-deploy mgr create node1 node2 node3

再次查看集群状态

    # ceph –s

    

在node2、node3节点上创建monitor（node1上操作就可以）

    # ceph-deploy mon add --address 192.168.26.20 node2

    # ceph-deploy mon add --address 192.168.26.30 node3

    # ceph mon stat      ##会看到3个monitor

擦除分区信息node2、node3（node1上操作就可以）

    # ceph-deploy disk zap node2 /dev/sdb /dev/sdc /dev/sdd

    # ceph-deploy disk zap node3 /dev/sdb /dev/sdc /dev/sdd

在node2中创建OSD（node1上操作就可以）

    # ceph-deploy osd create node2 --data /dev/sdb

    # ceph-deploy osd create node2 --data /dev/sdc

    # ceph-deploy osd create node2 --data /dev/sdd

如果报错：

[ERROR ] RuntimeError: bootstrap-osd keyring not found; run 'gatherkeys'

说明找不到osd的密钥。

    # ceph-deploy gatherkeys node2

在ceph-node3中创建OSD（node1上操作就可以）

    # ceph-deploy osd create node3 --data /dev/sdb

    # ceph-deploy osd create node3 --data /dev/sdc

    # ceph-deploy osd create node3 --data /dev/sdd

查看osd信息

    # ceph osd tree

    

确认集群配置同步到了node2/node3

    # ls /etc/ceph/    （node1/node2/node3都要有）

如果配置文件没有同步，使用下面命令（node1上操作就可以）

    # ceph-deploy admin node2 node3

到这里，Ceph集群就配置完了，做个快照吧方便还原。

如何使用Cep集群，我们在下一篇文章中详细介绍。

包括创建/使用：块存储（rbd）、文件存储（cephfs）、对象存储（rgw）

UOS安装部署Ceph集群（二）_defaults,_netdev 0 0_小时候很牛、的博客-CSDN博客