ceph-ansible安装指南-添加BlueStore

前言：ceph的资料真是很少，摸索一断时间，将整理的一资料和操作经验分享。本篇为干货，实操。生产环境可以借鉴使用。

知识点：

1、建议使用LVM卷管理作为Ceph底层的存储块设备，因为LVM卷可以随时扩展，方便在后续维护中按需调整

2、通常情况下 block.db 大小应该是 block 大小的 4% (或更多）

3、当使用相同速度的设备，就不需要独立的逻辑卷用于 block.db 或 block.wal ，BlueStore会自动计算它们在 block 中的空间

一、新增OSD节点操作

1、查看新增OSD节点的磁盘（本测试为三个data磁盘，三个DB磁盘，三个WAL磁盘）

[root@ceph-mon04 ~]# lsblk

NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT

sda           8:0    0   40G  0 disk

├─sda1        8:1    0  600M  0 part /boot/efi

├─sda2        8:2    0    1G  0 part /boot

└─sda3        8:3    0 38.4G  0 part

  ├─cs-root 253:0    0 34.4G  0 lvm  /

  └─cs-swap 253:1    0    4G  0 lvm  [SWAP]

sdb           8:16   0  100G  0 disk

sdc           8:32   0  100G  0 disk

sdd           8:48   0  100G  0 disk

sde           8:64   0   50G  0 disk

sdf           8:80   0   50G  0 disk

sdg           8:96   0   50G  0 disk

sdh           8:112  0   16G  0 disk

sdi           8:128  0   16G  0 disk

sdj           8:144  0   16G  0 disk

sr0          11:0    1 1024M  0 rom

2、所有磁盘创建PV

[root@ceph-mon04 ~]# for i in {b..j} ; do pvcreate /dev/sd$i ;done

  Physical volume "/dev/sdj" successfully created.

3、创建VG

[root@ceph-mon04 ~]# vgcreate ceph-block-0 /deb/sdb

  No device found for /deb/sdb.

4、查看所有创建的VG

[root@ceph-mon04 ~]# pvs

  PV         VG           Fmt  Attr PSize    PFree

  /dev/sda3  cs           lvm2 a--    38.41g       0

  /dev/sdb   ceph-block-0 lvm2 a--  <100.00g <100.00g

  /dev/sdc   ceph-block-1 lvm2 a--  <100.00g <100.00g

  /dev/sdd   ceph-block-2 lvm2 a--  <100.00g <100.00g

  /dev/sde   ceph-db-0    lvm2 a--   <50.00g  <50.00g

  /dev/sdf   ceph-db-1    lvm2 a--   <50.00g  <50.00g

  /dev/sdg   ceph-db-2    lvm2 a--   <50.00g  <50.00g

  /dev/sdh   ceph-wal-0   lvm2 a--   <16.00g  <16.00g

  /dev/sdi   ceph-wal-1   lvm2 a--   <16.00g  <16.00g

  /dev/sdj   ceph-wal-2   lvm2 a--   <16.00g  <16.00g

[root@ceph-mon04 ~]#

5、创建LV

[root@ceph-mon04 ~]# lvcreate -l 100%FREE -n block-0 ceph-block-0

  Logical volume "block-0" created.

二、ceph-ansible admin 节点

1、配置需要添加的OSD节点的配置文件 （如没有 host_vras文件夹，可自行创建）

[root@ceph-admin ansible]# cd host_vars/

[root@ceph-admin host_vars]# pwd

/etc/ansible/host_vars

[root@ceph-admin host_vars]# ls

  ceph-osd06

2、自行创建osd的配置文件  （注意，lv&vg的名称都要写入）

[root@ceph-admin host_vars]# cat ceph-osd06

lvm_volumes:

  - data: block-0      #lv 的名称

    data_vg: ceph-block-0   #vg的名称

    db: db-0

    db_vg: ceph-db-0

    wal: wal-0

    wal_vg: ceph-wal-0

  - data: block-1

    data_vg: ceph-block-1

    db: db-1

    db_vg: ceph-db-1

    wal: wal-1

    wal_vg: ceph-wal-1

  - data: block-2

    data_vg: ceph-block-2

    db: db-2

    db_vg: ceph-db-2

    wal: wal-2

    wal_vg: ceph-wal-2

[root@ceph-admin host_vars]#

3、修改/etc/ansible/hosts文件

[osds]

ceph-osd0[1:4]

#ceph-osd05

ceph-osd06 #新增节点

4、切换到/ceph-ansible目录

[root@ceph-admin ceph-ansible]# pwd

/root/ceph-ansible

[root@ceph-admin ceph-ansible]# ansible-playbook -vvvv -i /etc/ansible/hosts site.yml

redhat-4官网资料

5.2. 安装 Red Hat Ceph Storage 集群 Red Hat Ceph Storage 4 | Red Hat Customer Portal