小白带你学习ceph分布式存储

最新推荐文章于 2024-06-03 09:13:07 发布
最新推荐文章于 2024-06-03 09:13:07 发布
阅读量138 收藏
点赞数
文章标签： 学习 ceph 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l187567/article/details/133142503
版权
本文详细介绍了Ceph分布式存储系统，包括其统一存储、高扩展性、可靠性和高性能的特点，以及Monitor、OSD、MDS等核心组件。此外，还阐述了Ceph的架构和部署流程，提供了一个从文件上传到存储的清晰过程。
摘要由CSDN通过智能技术生成

目录

一、概述

1、分布式存储系统

2、特点

2、1 统一存储

2、2高扩展性

2、3可靠性强

2 、4高性能

二、组件

1. Monitor

2. OSD

3. MDS

4. Object

5. PG

6. RADOS

7. Libradio

8. CRUSH

9. RBD

10. RGW

11. CephFS

三、架构图

1、文件上传

2、文件存储前

四、部署

1、环境拓扑

2、准备工作

3、ceph安装

4、客户端挂载

一、概述

1、分布式存储系统

是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。

Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储

2、特点

2、1 统一存储

虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万代，就不知了。

2、2高扩展性

扩容方便、容量大。能够管理上千台服务器、EB 级的容量。

2、3可靠性强

支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自动管理、自动修复。无单点故障，容错性强。

2 、4高性能

因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的 IOPS和吞吐量越高。另外一点 ceph 客户端读写数据直接与存储设备(osd) 交互。

二、组件

1. Monitor

一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。

2. OSD

OSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。

3. MDS

MDS全称Ceph Metadata Server，是CephFS服务依赖的元数据服务。

4. Object

Ceph最底层的存储单元是Object对象，每个Object包含元数据和原始数据。

5. PG

PG全称Placement Grouops，是一个逻辑的概念，一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据。

6. RADOS

RADOS全称Reliable Autonomic Distributed Object Store，是Ceph集群的精华，用户实现数据分配、Failover等集群操作。

7. Libradio

Librados是Rados提供库，因为RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFS都是通过librados访问的，目前提供PHP、Ruby、Java、Python、C和C++支持。

8. CRUSH

CRUSH是Ceph使用的数据分布算法，类似一致性哈希，让数据分配到预期的地方。

9. RBD

RBD全称RADOS block device，是Ceph对外提供的块设备服务。

10. RGW

RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与S3和Swift兼容。

11. CephFS

CephFS全称Ceph File System，是Ceph对外提供的文件系统服务。

三、架构图

1、文件上传

先将文件切片成N个object（如果开启了cephFS，可以使用MDS缓存）

切片后的文件object会存入到Ceph中

2、文件存储前

会经过CRUSH算法，计算当前文件存储归结于哪个PG

PG是逻辑概念上对文件存储范围划分的索引

根据PG索引将文件存储到指定服务器的OSD中

四、部署

1、环境拓扑

centos1

monitor

osd

192.168.28.5

centos2

osd

192.168.28.6

centos3

osd

192.168.28.7

centos4

Client

192.168.28.8

2、准备工作

关闭防火墙

systemctl stop firewalld.service

systemctl disable firewalld.service

关闭图形网络管理器

systemctl stop NetworkManager

systemctl disable NetworkManager

配置IP

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
cat << e > /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=$1

最低0.47元/天 解锁文章
刘俊涛liu
关注
一文读懂CEPH RGW基本原理
shichungang的博客
06-07 7372
一文读懂CEPH RGW基本原理。本文从RGW的基本原理出发，从整体上描述RGW的框架结构，突出关键结构之间的关联关系，从基础代码分析关键环节的实现细节，以达到清晰说明RGW模块“骨架”的效果。
ceph分布式存储解说
04-05
Ceph是一个全面的分布式存储解决方案，它涵盖了文件存储（CephFS）、块存储（RBD）和对象存储（Rados Gateway）。Ceph的独特之处在于其统一的存储层，称为RADOS（Reliable Autonomic Distributed Object Store），...
【Ceph集群应用】Ceph对象存储系统之RGW接口详解
陌上花开，静待绽放！
07-18 3485
请相信，你的潜力远没有爆发出来，切勿给自己的人生设限，你自以为的极限，只是别人的起点。
【Ceph】Ceph-RGW基本原理
bandaoyu的note
06-10 3055
原文：https://www.sohu.com/a/120065877_468741 背景 Ceph提供了三种存储类型：块存储、文件存储和对象存储，本文主要介绍对象存储的RGW基本原理和应用场景。 RGW 1 什么是对象存储？ 对象存储(云存储)是面向对象/文件的、海量的互联网存储。对象存储里的对象是经过封装了的文件，在对象存储系统里， 不能直接打开/修改文件，但可以像ftp一样上传文件，下载文件等。另外，对象存储没有像文件系统那样有一个很多层级 的文件结构，而是只有一个“桶”的概念（也就是存储
Ceph RGW对象存储
因上努力，果上随缘。但行好事，莫问前程。
07-01 2063
目录1.对象存储概述1.1 基本概念1.2 认证与授权方式1.3 RADOS网关1.4 rados网关部署步骤1.5 什么是S3存储1.5.1 rgw中s3的API支持1.5.2 S3中的用户管理1.5.3 管理用户密钥1.5.4 S3设置配额数1.5.5 检索用户信息1.5.6 统计数据1.5.7 配置DNS实现数据传输1.5.8 启用S3-api客户端s3cmd1.5.9 Bucket常用操作1.6 什么是Swift1.6.1 Swift-API操作1.6.2 Swift用户管理1.6.3 Swift客
第24讲：Ceph集群RGW对象存储高可用集群部署与测试
最新发布
江晓龙的博客
06-03 1859
停掉ceph-node-1节点的Haproxy服务后，Keepalived随之就检测到Haproxy的服务异常了，并且自动将优先级下降20，原本主节点keepalived的优先级为100，备用节点的keepalived优先级的为90，主节点下降20后，优先级变成了80，优先级比备用节点低，此时备用节点就认为自己是主节点，从而抢占了主节点的VIP地址，并将自己升级为了主节点，此时的主节点也知道优先级比它低，故而放弃主节点和VIP地址。1）停掉ceph-node-1节点的Haproxy服务。
实战搭建Ceph分布式存储系统.pdf
08-08
Ceph分布式存储系统是一种开源的、基于软件的分布式文件系统，它设计用于高可扩展性、高性能以及高可靠性，其设计目标是处理PB级别的数据并可自动修复、自我管理。本文将深入探讨Ceph的关键特性和其搭建过程。 ### ...
Ceph分布式存储系统介绍.pdf
09-23
Ceph分布式存储系统介绍 Ceph是一个开源的、可靠的、可扩展的分布式存储系统，提供了多种访问接口，包括块、文件、S3、Swift等。Ceph的核心组件是RADOS（Reliable Autonomic Distributed Object Store），它提供了...
RedHat Ceph分布式存储-技术白皮书.pdf
10-13
RedHat Ceph 分布式存储技术白皮书 RedHat Ceph 分布式存储是由 Red Hat 公司开发的一种大规模、开源、软件定义的存储平台，旨在满足云基础设施和大规模对象存储的需求。该平台结合了最新版本的 Ceph、Ceph 管理...
Ceph 基础入门
西京刀客
04-17 7920
Ceph 快速开始 一、什么是Ceph? 官网： https://docs.ceph.com/docs/master/ http://docs.ceph.org.cn/ Ceph架构介绍 参考URL: https://www.cnblogs.com/passzhang/p/12148933.html 干货｜非常详细的 Ceph 介绍、原理、架构 参考URL: https://blog.csdn.n...
ceph详细中文文档
01-16
Ceph 存储集群至少需要1 个Ceph Monitor 和2 个OSD 守护进程 运行Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
分布式存储Ceph的部署及应用（创建MDS、RBD、RGW 接口）
m0_73695023的博客
06-24 991
ceph数据存储了解就好要知道！！！
Ceph学习(1)---Ceph入门
weixin_60712169的博客
03-19 3000
Ceph学习(1)---Ceph入门
Ceph API微服务开发--cephfs文件系统服务
xingyuzhe的博客
09-03 5909
目标：使用libcephfs库，实现对cephfs文件系统的挂载、目录、文件上传与下载等操作 环境：CentOS 7 / IntelliJ IDEA (因为libcephfs仅支持linux，所以在centos7中安装IDE开发程序) 步骤：libcephfs简介-&gt;Linux环境配置-&gt;cephfs挂载与目录基本方法实现-&gt;文件上传与下载功能开发 1.libcephfs简...
使用ceph的文件存储CephFS
热门推荐
直到世界的尽头
05-27 2万+
Ceph FS是一个支持POSIX接口的文件系统，它使用 Ceph 存储集群来存储数据。文件系统对于客户端来说可以方便的挂载到本地使用。Ceph FS构建在RADOS之上，继承RADOS的容错性和扩展性，支持冗余副本和数据高可靠性。 注意:当前， CephFS 还缺乏健壮得像 ‘fsck’ 这样的检查和修复功能。存储重要数据时需小心使用，因为灾难恢复工具还没开发完。 准备MDS元数据服务器...
ceph RGW Multipart 上传文件过程
qq_37517281的博客
09-21 2117
REST 请求的处理 init 用户，认证，权限，桶等参数 init 操作类型相关的初始化 检查权限 检查参数 返回头上加上操作的 bucket execute complete 返回 io 的完成状态 记录日志 POST （生成 multipart 的总对象） 检查参数和操作内部权限（user_policies） 为桶的 event_type 类型的 topic 预留用于 notification 的空间 分配操作上下文，放在 ObjectWriteOperation 中 （2pc_queue_rese
Ceph分布式存储实战指南
"Ceph分布式存储实战，Ceph中国社区著，详细介绍了Ceph的各个方面，包括Ceph的概述、功能组件、RADOS、CRUSH、存储访问类型以及可视化管理工具Calamari。" Ceph是一种开源的分布式存储系统，旨在提供高可用性、弹性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值