分布式存储Ceph部署

分布式存储Ceph

1、Ceph简介

Ceph使用C++语言开发，遵循LGPL协议开源。Sage Weil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。2014年Redhat收购inktank公司，并发布Inktank Ceph企业版（ICE）软件，业务场景聚焦云、备份和归档，支持对象存储和块存储以及文件系统存储应用。出现Ceph开源社区版本和Redhat企业版。

Ceph主要设计的初衷是变成一个可避免单节点故障的统一的分布式文件系统，提供较好的性能、可靠性和PB级别的扩展能力。作为对象存储把每一个数据流分割为固定大小的对象数据。

---

2、Ceph特性

高扩展性：使用普通x86服务器，支持10~1000台服务器，支持TB到EB级的扩展。

高可靠性：没有单点故障，多数据副本，自动管理，自动修复。

高 性 能：数据分布均衡。

存储类别：可用于对象存储，块设备存储和文件系统存储

3、Ceph集群部署

官方文档：
http://docs.ceph.com
注：有哪里有问题可以留言，看到会回复

准备环境
系统版本：centos7.4 x86_64 server
网卡配置：除admin以外，其余节点再配一块网卡并设置IP

1.给三台node节点添加2块大小20G的磁盘

2.所有节点修改主机名并相互解析

3.关闭所有机器的防火墙和selinux

    主机名                 ip                                          role
    admin            192.168.116.131                                  admin
    node1            192.168.116.132 / 192.168.117.132                osd /mgr
    node2            192.168.116.133 / 192.168.117.133                osd /mgr
    node3            192.168.116.134 / 192.168.117.134                osd
    mon1             192.168.116.135 / 192.168.117.135                mon1 
    mon1             192.168.116.136 / 192.168.117.136                mon2 
    mon1             192.168.116.137 / 192.168.117.137                mon3 
    client           192.168.116.138 / 192.168.117.138                client

---

4.配置YUM源并安装epel-release源：所有节点-root

# vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph package
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/aarch64/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph1]
name=ceph1
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-noarch]
name=ceph noarch
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=ceph source
baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
# yum update
# yum -y install epel-release

---

5.同步系统时钟

admin作为时钟服务器:
# yum install -y ntp
# vim /etc/ntp.conf  #有4行server的位置，把那4行server行注释掉，填写以下两行
server 127.127.1.0 # local clock
fudge  127.127.1.0 stratum 10   #stratum  层；阶层 / ˈstrɑːtəm
# systemctl restart ntpd

其他所有节点：
# yum install ntpdate  -y
# ntpdate  admin

---

6.创建用户并开启sudo 权限：所有节点-root

# useradd cephu
# echo 1 |passwd --stdin cephu
# visudo  ----在root ALL=(ALL) ALL下面添加：   /etc/sudoers
cephu  ALL=(root)  NOPASSWD:ALL

---

7.配置SSH免密登录并创建工作目录：admin节点-cephu

# su - cephu
$ mkdir my_cluster    #工作目录

$ ssh-keygen
#将admin节点cephu用户生成的密钥拷贝到各Ceph节点：
$ ssh-copy-id cephu@node1
$ ssh-copy-id cephu@node2
$ ssh-copy-id cephu@node3
$ ssh-copy-id cephu@mon1
$ ssh-copy-id cephu@mon2
$ ssh-copy-id cephu@mon3
$ ssh-copy-id cephu@client

---

8.部署ceph-deploy：admin节点-root

# yum -y install ceph-deploy
—————————————————————————————
 安装Python依赖，不装会报错
# wget https://files.pythonhosted.org/packages/5f/ad/1fde06877a8d7d5c9b60eff7de2d452f639916ae1d48f0b8f97bf97e570a/distribute-0.7.3.zip
# unzip distridate
# cd distribute-0.7.3/
# python setup.py install

---

9.初始化集群：admin节点-cephu

# su - cephu
$ cd my_cluster/
$ ceph-deploy new \
--cluster-network 192.168.117.0/24 \
--public-network 192.168.116.0/24 \
mon1
-------------------------------------
# 参数
--cluster-network 集群通信网络
--public-network  外部通信网络
mon1              指定mon节点
-------------------------------------
$ ls
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring
创建成功会有三个文件：ceph.conf, ceph.mon.keyring, and a log file

---

10.安装ceph和ceph-radosgw主包：admin节点-cephu

$ ceph-deploy install --no-adjust-repos node1 node2 node3 mon1 mon2 mon3 client
------------------------------
# 参数
--no-adjust-repos   通过本地源安装

---

11.初始化mon节点，收集秘钥：admin节点–cephu

$ ceph-deploy mon create-initial

---

12.赋予各个节点使用命令免用户名权限：admin节点–cephu

$ ceph-deploy admin node1 node2 node3 mon1 mon2 mon3 client
-----------------------------------------------------
为cephu赋予读取密钥的权限：所有节点
# setfacl -m u:cephu:r /etc/ceph/ceph.client.admin.keyring

---

13.部署mgr节点：admin节点–cephu

$ ceph-deploy  mgr create node1

---

14.扩展mon和mgr节点：admin节点–cephu

# 扩展monitor
$ ceph-deploy mon add mon2
$ ceph-deploy mon add mon3

# 扩展manager
$ ceph-deploy mgr create node2

---

15.添加OSD：admin节点–cephu

# 查看可用磁盘
$ ssh node1 lsblk -f
---------------------------------------------------
# 添加osd
$ ceph-deploy osd create --data /dev/sdb node1
$ ceph-deploy osd create --data /dev/sdb node2
$ ceph-deploy osd create --data /dev/sdb node3
$ ceph-deploy osd create --data /dev/sdc node1
$ ceph-deploy osd create --data /dev/sdc node2
$ ceph-deploy osd create --data /dev/sdc node3
----------------------------------------------------

---

16.查看集群状态：client节点-root

# ceph -s
  cluster:
    id:     cab710b1-8dbf-4622-9a49-60a0384be5aa
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum mon1,mon2,mon3  #quorum 法定人数 / ˈkwɔːrəm
    mgr: node1(active), standbys: node2    #standbys 备用物品 / ˈstændbaɪz
    osd: 6 osds: 6 up, 6 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0B
   usage:   6.02GiB used, 114GiB / 120GiB avail
    pgs:

---

17.配置Dashboard：mgr节点-root

创建管理域秘钥：
# ceph auth get-or-create \
mgr.node1 \
mon 'allow profile mgr' \
osd 'allow *' \
mds 'allow *'

开启 ceph-mgr 管理域
# ceph-mgr -i node1

打开dashboard模块
# ceph mgr module enable dashboard

绑定开启dashboard模块的ceph-mgr节点的ip地址
# ceph config-key \
set mgr/dashboard/node1/server_addr 192.168.116.132     # ip地址为mgr节点的ip地址

浏览器访问：
http://192.168.116.132:7000

---

18.配置客户端使用rbd：client节点-root

------------------------------------------------------------------
创建存储池：
# ceph osd pool create rbd 128 128
------------------------------------------------------------------
初始化存储池
# rbd pool init rbd
------------------------------------------------------------------
修改client下的ceph配置文件
# vi /etc/ceph/ceph.conf 
rbd_default_features = 1
------------------------------------------------------------------
创建块设备镜像：单位是M，这里是4个G
# rbd create foo --size 4096
------------------------------------------------------------------
client节点映射镜像到主机
# rbd map foo --name client.admin
/dev/rbd0
客户端重起之后，设备需要重新作映射，不然可能会卡死
------------------------------------------------------------------
client节点格式化块设备
# mkfs.ext4  /dev/rbd/rbd/foo
------------------------------------------------------------------
client节点mount块设备
# mkdir /mnt/ceph-block-device #创建挂载点
# mount /dev/rbd/rbd/foo /mnt/ceph-block-device #挂载
------------------------------------------------------------------