CEPH的基本概念及通过Ceph-Deploy快速部署CEPH集群

最新推荐文章于 2023-11-26 13:02:26 发布

Insane_linux

最新推荐文章于 2023-11-26 13:02:26 发布

阅读量2.4k

点赞数

分类专栏：云计算 ceph 文章标签： ceph

本文链接：https://blog.csdn.net/kairui123/article/details/76474622

版权

云计算同时被 2 个专栏收录

3 篇文章 0 订阅

订阅专栏

ceph

3 篇文章 0 订阅

订阅专栏

基础概念
OSD:Object Storage Device，主要用于存储数据，处理数据，，恢复，回不，平衡数据，并提供数据给monitor。
Monitor:Ceph监视器，主要用于集群健康状态维护，提供策略，包含Monitor Map ,OSD Map,PG ma和CRUSH MAP
MSD：Cpeh Metadata Server，主要保存ceph文件系统的元数据，快存储，对象存储不需要MSD。
Ceph的架构
核心组件RADOS，如架构图
CEPH的基本概念及通过Ceph-Deploy快速部署CEPH集群

RADOS：具备自我修复的特性，提供一个可靠，自动，智能的分布式存储
LIBRADOS：库文件，支持应用程序直接访问
RADOSGW：基于当前流行的RESTful协议的网关，并且兼容S3和Swift
RDB：通过Linux内核客户端和qemu-kvm驱动，来提供一个完全分布式的块设备
Ceph FS：兼容POSIX的文件系统

Ceph组件和RADOS的关系
CEPH的基本概念及通过Ceph-Deploy快速部署CEPH集群
ceph存储逻辑上大致分为4个部分，RADOS基础存储系统，基于RADOS的cephFS，基于RADOS的LIBRADOS应用接口，基于LIBRADOS的应用接口RBD。

基础存储系统RADOS：
本身是一个完整的对象文件系统，用户的数据由这一层来进行存储，物理上，由每一个节点组成。
基础库LIBRADOS：
这一层，将RADOS的功能进行抽象和封装，向上提供API。物理上，基于LIBRADOS开发的应用，与LIBRADOS位于同一台物理机上，应用通过调用本地的API，再有API通过SOCKET套接子与RADOS的节点进行通信，完成各种操作。
上层应用接口：
上层应用接口包括RADOSGW，RDB和ceph FS，其中除了CEPH FS，其余基于LIBRADOS库的基础上进一步进行抽象。
应用层：就是一些应用
RADOS：主要有OSD和MOnitor组成
(1). Monitor:监控整个集群的运行状况，包括节点的状态，集群的配置信息等，如monitor map，osd map，MDS map和CRUSH map。
(a).Monitor Map：记录着monitor节点端到端的信息，其中包括集群ID，监控主机IP和端口等信息。
查看Monitor的map： # ceph mon dump
(b).OSD Map：记录一下信息，如集群ID，创建OSD Map的版本信息和修改信息，pool的信息（pool的名称，ID，类型，副本数目等），OSD的数量，权重，状态等信息。
查看OSD的MAP：# ceph osd dump
©.PG Map：记录PG的版本，时间戳，最新的OSD Map版本信息，空间使用比例等，还有PF ID，对象数目，状态，等。
查看PG Map： # ceph pg dump
(d).CRUSH Map:集群存储设备信息，故障域层次结构和存储数据时定义，失败域规则信息。
查看CRUSH Map： # ceph osd crush dump
(e).MDS Map:存储当前MDS Map的版本信息、创建当前Map的信息、修改时间、数据和元数据POOL ID、集群MDS数目和MDS状态.
查看MDS Map： # ceph mds dump
注：monitor节点需要需要足够的磁盘来存储集群的日志文件
Monitor集群中，集群节点的数为奇数，其中一个节点为Leader，用作监视器节点，当Leader不可用时，剩余的节点都可以成为leader，保证集群中至少有N/2个监控节点高可用
(2).OSD：OSD将数据以对象的形式存储在集群中的每个节点的物理磁盘上。
客户端从monitor拿到CLUSTER Map信息之后，直接与OSD进行交互进行数据的读写。
在OSD的上的每个对象都有一个主副本和若干个从副本，每个OSD及是某个对象的主OSD，也可能是某个对象的从OSD，从OSD收到主OSD的控制，当主OSD故障时，从OSD 成为主OSD，从新生成副本。
ceph支持的文件系统：BTRFS,XFS,EXT4
journal的存在能够减缓缓存突发负载，ceph写入数据时首先写入日志，然后在写入后备文件系统。
Ceph的Ceph-Deploy部署
此工具通过ssh在远程上执行一系列脚本来完成部署，ceph为远程主机
配置YUM源：

创建yum源：
[Ceph]
name=Ceph packages for $b a s e a r c h b a s e u r l = h t t p : / / m i r r o r s . a l i y u n . c o m / c e p h / r p m - i n f e r n a l i s / e l 7 /$ basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-infernalis/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=http://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

更新源并安装：
yum update &&yum install ceph-deploy -y

创建目录，存放部署过程中生成的配置文件
mkdir ceph
cd ceph

创建集群，部署新的monitor：
ceph-deploy new {initial-monitor-node(s)}
如：ceph-deploy new hostname1 hostname2…

安装ceph到各个节点：
ceph-deploy install hostname1 hostname2…

获取秘钥key，创建的目录下会生成key
ceph-deploy mon create-initial

初始化磁盘：
ceph-deploy disk zap node1:sdb

准备OSD：
ceph-deploy osd prepare node1:sdb1：…

激活OSD：
ceph-deploy osd activate node1:sdb1:…

分发KEY：
ceph-deploy admin node1 node2 node3

adminkey赋权限
chmod +r etcceph/ceph.client.admin.keyri

查看集群状态：
ceph health基础概念
OSD:Object Storage Device，主要用于存储数据，处理数据，，恢复，回不，平衡数据，并提供数据给monitor。
Monitor:Ceph监视器，主要用于集群健康状态维护，提供策略，包含Monitor Map ,OSD Map,PG ma和CRUSH MAP
MSD：Cpeh Metadata Server，主要保存ceph文件系统的元数据，快存储，对象存储不需要MSD。
Ceph的架构
核心组件RADOS，如架构图
CEPH的基本概念及通过Ceph-Deploy快速部署CEPH集群