Ceph存储池

Ceph存储池
开源的，用c++语言编写的分布式存储系统，存储文件数据

/dev/sdb、fdisk /dev/sdb、gdisk /dev/sdb

lvm 逻辑卷 可以扩容

raid 磁盘阵容 高可用

以上三种都是基于物理意义上的单机的存储系统

1、ceph
1.1

分布式由多台物理磁盘组成一个集群，在这个基础之上实现高可用，扩展。

1.2 数据流向：

1.3 优点：

1、远程访问

2、多个服务器组成的虚拟的硬盘

3、分布式存储

4、实现负载均衡和数据同步

2、存储的方式
ceph是一个统一的存储系统，同时提供块设备存储，文件系统存储和对象存储三种存储方式

1.1 对象存储 RGW oss

对象存储也就是键值存储，通过接口指令，如get、put、del和其他的命令向对象存储上传或者下载数据

把数据作为对象按照一定的逻辑和算法存储到不同的硬盘上（可以是不同机器上的硬盘，依靠网络来进行互相通信）

优点：使用的是硬盘组，不受目录系统的影响，读写效率高；集群的扩展性很强，支持多副本存储；可以直接通过URL访问文件，简单好管理。

缺点：内容变动性太大的文件不适合作为对象存储，每一个变动都要重新上传；适合静态图片等，不需要变动的数据

1.2 文件系统存储 ceph-fs

ceph集群的存储看作是一个大的分区或者共享文件挂载到客户端和本地

客户端可以在本地直接进行操作，速度快，可以存储的数据类型没有限制

内核态和用户态：

mount：内核 速度快 读写也快

ceph-fuse：用户 速度慢 读写稍慢

优点：成本低，随便的一台服务器都可以做；公司内部都会使用这种方式，内网的云盘就是这种方式。

缺点：读写速度和传输速度相对比较慢（本地使用不在此列）

1.3 块存储 RBD

rbd为kvm虚拟化和云服务（openstack）提供高性能和无线可扩展的存储后端；使用方式为磁盘映射，RAID和LVM提供磁盘空间，再把多个主机上的RAID和LVM组成一个逻辑上的RAID和LVM，多块磁盘组成这种逻辑空间，可以并行的执行读写操作，IO效率比较高。

缺点：对网络传输的要求比较高，windows无法访问linux的RDB操作。

3、ceph的主要特点
1.1 统一存储：对象、块、文件系统

1.2 Crush算法：算法来实现数据的寻址，数据完整性的校验和一致性，理论上可以支持上千个数据存储节点

1.3 高扩展性：扩容方便，可靠性比较强，定义1副本，创建数据的时候可以对数据进行副本操作，副本数由管理员定义，副本可以跨主机保存，跨架构，跨机房，跨数据中心进行保存

1.4 高性能：因为是多副本，读写的时候可以做到并行化处理

4、ceph的组件和作用
1.1 OSD：是ceph当中的OSD的守护进程，是集群的基础，

主要功能：存储数据，保存副本数据，数据恢复，平衡数据分布。

实现冗余和高可用至少要有3个OSD（三个机器上的三个物理硬盘）

1.2 Monitors：简称mon，Monitors守护进程，监视ceph集群的状态，维护ceph集群的健康。OSD的状态也属于MON的监控范围

ceph存储集群必须要有一个Monitors进程，和两个OSD进程。

服务器的数量必须是奇数台，3~5

管理节点 mon osd

1.3 MDS：也是一个守护进程，保存ceph文件系统的元数据（文件的权限，所有者，所在组，修改时间等待，在ceph集群当中的inode号）

1.4 managers：也是作为守护进程运行，跟踪集群的运行时间的指标和ceph集群的状态（状态：存储的利用率、性能指标和系统的负载）

1.5 RADOS：分布式存储系统，所有的存储功能都是基于RADOS实现的。高可用，高性能也是基于RADOS实现的，他是所有一切的底层，也是整个ceph集群的核心

RADOS由两个部分组成：OSD和Monitor

1.6 LIBRADOS：这是一个动态库，用来允许应用程序和RADOS系统进行交互。通过端口进行通信。

5、ceph存储的概念
1.1 存储数据和object的关系：

对象、块、文件系统挂载，都需要object，存储的数据会被分成多个object，分成之后每一个数据都有一个object id。

每个数据的object大小是可以调整的，默认是4M。

object是ceph的最小存储单位。

1.2 object和pg的关系：

object数量太多了，在一个集群当中，object数量太多，遍历和寻址速度都很慢，

pg，就是归置组，placcment group 管理object。

object通过Crush算法映射到pg当中，一个pg里面可以包含多个object

1.3 pg和osd之间的关系：

pg也是通过crush算法映射到osd当中去存储，如果有副本，每个pg会映射到三个osd当中，

1.4 pg和pgd的关系：

pgd是存放pg的排列组合。

1.5 存储池：pool

ceph的集群进行逻辑划分，设置ceph存储集群的权限，副本数，pg数量和算法的规则。

pool由管理员自定义，相当于一个独立的空间，每个pool之间是独立的，数据也是隔离的。

6、部署ceph存储池
实验：4台

192.168.100.11 admin、osd、mon、mgr

192.168.100.12 osd、mds、mon、mgr

192.168.100.13 osd、mds、mon、mgr

192.168.100.14 client

mount、ceph-fs、rdb

# 分别操作
hostnamectl set-hostname mysql1    # 192.168.100.11
hostnamectl set-hostname mysql2    # 192.168.100.12
hostnamectl set-hostname mysql3    # 192.168.100.13
hostnamectl set-hostname test1     # 192.168.100.14
su                                 # 同时操作

# 同时操作
systemctl stop firewalld
setenforce 0
yum -y install ntpdate
ntpdate ntp.aliyun.com
date

vim /etc/hosts
192.168.100.11 mysql1
192.168.100.12 mysql2
192.168.100.13 mysql3
192.168.100.14 test1
wq!

# test1  免密通信
ssh-keygen
ssh-copy-id 192.168.100.12
ssh-copy-id 192.168.100.13
ssh-copy-id 192.168.100.14

# 同时操作
cat> /etc/yum.repos.d/ceph.repo <<eof
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=ceph-noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/
gpgcheck=0
eof

yum clean all && yum makecache

# 出现报错 Cannot find a valid baseurl for repo: base/7/x86_64 如何解决？

[root@mysql1 opt]# cd /etc/yum.repos.d/
[root@test1 yum.repos.d]# mkdir  backup1
[root@test1 yum.repos.d]# mv CentOS-Base.repo  CentOS-CR.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-fasttrack.repo CentOS-Sources.repo CentOS-Vault.repo backup1
[root@test1 yum.repos.d]# ls
#只留这四个
Centos-7.repo  ceph.repo  epel.repo  epel-testing.repo
[root@test1 yum.repos.d]# yum clean all && yum makecache
---------------------------------------------------------------------

# 同时操作----所有节点统一安装
yum install -y ceph-deploy ceph ceph-radosgw snappy leveldb gdisk python-argparse gperftools-libs

# 1
cd /etc/ceph
ceph-deploy new mysql1 mysql2 mysql3
yes  yes
vim ceph.conf    # 在最后一行添加
osd_pool_default_size = 2
wq!

# 节点初始化
ceph-deploy mon create-initial
ceph -s   # 查看集群状态

# 1、2、3 创建osd   添加硬盘20g
alias scan='echo "- - -" > /sys/class/scsi_host/host0/scan;echo "- - -" > /sys/class/scsi_host/host1/scan;echo "- - -" > /sys/class/scsi_host/host2/scan'
scan  # 刷新
lsblk

# 1 添加osd节点
ceph-deploy disk zap mysql1 /dev/sdb
ceph-deploy disk zap mysql2 /dev/sdb
ceph-deploy disk zap mysql3 /dev/sdb

ceph-deploy osd create mysql1 --data /dev/sdb
ceph-deploy osd create mysql2 --data /dev/sdb
ceph-deploy osd create mysql3 --data /dev/sdb

ceph-deploy osd list mysql1 mysql2 mysql3  # 查看osd节点的状态
ceph -s  # 此时osd开启

# 开启mgr
ceph-deploy mgr create mysql1 mysql2 mysql3
ceph -s   # 出现active和standbys即成功

# 创建存储池准备
ceph-deploy admin mysql1 mysql2 mysql3
chmod +r ceph.client.admin.keyring

2
cd /etc/ceph
chmod +r ceph.client.admin.keyring

3
cd /etc/ceph
chmod +r ceph.client.admin.keyring

# 
1
ceph-deploy mds create mysql2 mysql3
ceph mds stat   # , 2 up:standby
ceph -s

# 创建存储池    
第一个存储数据的pool
ceph osd pool create cephfs_data 128
------------------------------------------
少于5个osd的情况下，pg的数量等于128
5~10个osd 512个
10~50个osd  4096个

pg总数：默认是750个，不能超过750个
pg（num）=（osd * 100）/副本数
设定pg值的目的，通过管理较少的pg，ceph获取数据，分配，管理数据的效率越高。pg值越多，数据分布的越多，管理就越复杂。
---------------------------------------

第二个存储元数据的pool
ceph osd pool create cephfs_metadata 128

# cephfs名字可以自己设置
ceph fs new cephfs cephfs_metadata cephfs_data
ceph fs ls
ceph fs status cephfs

4
# 内核态挂载
cd /etc/yum??
mkdir /data
mount -t ceph 192.168.100.11:6789:/ /data -o name=admin,secret=看1的密钥    # 1 cat ceph.client.admin.keyring
df -h
cd /data
dd if=/dev/zero of=/data/test1.txt bs=10M count=10
ll -lh

1
ceph -s  
ceph fs status cephfs    # 此时data使用100M

4
cd /data
dd if=/dev/zero of=/data/test2.txt bs=10M count=10

1
ceph fs status cephfs    # 此时data使用200M

4
# 用户态挂载
yum -y install ceph-fuse

cd /etc/ceph/
scp root@192.168.100.11:/etc/ceph/ceph.client.admin.keyring /etc/ceph
yes
123

scp root@192.168.100.11:/etc/ceph/ceph.conf /etc/ceph
mkdir /data1
ceph-fuse -m 192.168.100.11:6789 /data1
df -h

1
ceph fs status cephfs

补充
要求：已创建cephfs（第一个），在此基础上创建cephfs-test1（第二个）

mysql1、2、3各自追加一块硬盘
scan刷新、lsblk查看、出现新磁盘sdc

# 添加osd节点
ceph-deploy disk zap mysql1 /dev/sdc
ceph-deploy disk zap mysql2 /dev/sdc
ceph-deploy disk zap mysql3 /dev/sdc

# osd添加到主节点
ceph-deploy osd create mysql1 --data /dev/sdc
ceph-deploy osd create mysql2 --data /dev/sdc
ceph-deploy osd create mysql3 --data /dev/sdc

# 查看sod状态
ceph-deploy osd list mysql1 mysql2 mysql3 
ceph -s 

# 创建存储池    
ceph osd pool create cephfs_data1 128
# 创建保存元数据
ceph osd pool create cephfs_metadata1 128
# 允许在同一个集群中创建第二个文件系统
ceph fs flag set enable_multiple true

# 创建文件系统
ceph fs new cephfs-test1 ceph_metadata1 ceph_data1
ceph fs ls
# 查看
ceph fs status cephfs-test1

mkdir /data2

mount -t ceph 192.168.100.11:6789:/ /data -o name=admin,secret=AQBa/LJmAn2OMxAA7EEZTaurchJ+K4uPyQNhfQ==

mount -t ceph 192.168.100.11:6789:/ /data2 -o name=admin,secret=AQBa/LJmAn2OMxAA7EEZTaurchJ+K4uPyQNhfQ==,mds_namespace=cephfs-test1

ls /data2  # 查看挂载

调整副本数命令

ceph osd pool get cephfs——data size 3