详解Ceph数据是如何布局的？

最新推荐文章于 2024-07-09 21:54:52 发布
最新推荐文章于 2024-07-09 21:54:52 发布
阅读量1.2k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/83247263
版权
本文详细介绍了Ceph的存储系统设计，包括客户端如何通过ClusterMap定位数据，OSD的角色，以及PG和OSD的映射机制。Ceph通过CRUSH算法实现数据的动态分布，保证高可用性和性能。此外，还探讨了元数据管理、OSD间的监控以及数据切片和寻址流程。
摘要由CSDN通过智能技术生成

640?wx_fmt=jpeg

640?wx_fmt=gif&wxfrom=5&wx_lazy=1

Ceph项目始于2004年，是为优秀的性能、可靠性和可扩展性而设计的统一的分布式存储系统。


在使用RADOS系统时，客户端程序通过与OSD或者Monitor的交互获取ClusterMap，然后直接在本地进行计算，得出对象的存储位置后，便直接与对应的OSD通信，完成数据的各种操作。可见，在此过程中，只要保证ClusterMap不频繁更新，则客户端显然可以不依赖于任何元数据服务器，不进行任何查表操作，便完成数据访问流程。


在RADOS的运行过程中，Cluster Map的更新完全取决于系统的状态变化，而导致这一变化的常见事件只有两种(OSD出现故障或者RADOS规模扩大)。而正常应用场景下，这两种事件发生的频率显然远远低于客户端对数据进行访问的频率。


640?wx_fmt=png


OSD依赖底层文件系统Xattrs来记录对象状态和元数据，Xattr必须提供足够的容量大小，ext4仅4KB，xfs 64KB，而btrfs没有限制，Btrfs不够稳定，ext4 Xattr太小，生产部署推荐xfs测试推荐btrfs。


  • Client：部署在Linux服务器上，实现数据切片，通过Crush算法定位对象位置，并进行对象数据的读写。

  • OSD：存储数据，处理数据复制，恢复，回填，重新调整&#

最低0.47元/天 解锁文章
架构师技术联盟
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
理解Ceph CRUSH数据定位算法
@xanpeng
12-01 2873
Ceph是当下最优秀的分布式存储系统之一。其中Ceph EBS块设备结合虚拟机的使用场景十分流行。 Ceph的核心之一是其数据定位算法，称之为CRUSH算法，这是一种用户可控的伪随机算法。理解此算法对掌握Ceph助益很大。 下面通过示例来分析CRUSH算法。我们部署一个Ceph集群，用一个节点做monitor，用两个节点（2×3=6块硬盘）做OSD数据服务器，OSD服务器的层次结构如下：
ceph数据流分析知识
04-17
ceph数据流分析知识 ceph是一种分布式存储系统，它提供了高性能、可扩展、灵活的存储解决方案。ceph数据流分析知识是指对ceph系统中数据流程的分析和研究，本文将对ceph数据流进行详细的分析和介绍。 首先，ceph...
ceph 数据存储
雪锋的笔记
04-22 428
安装前的配置 vi /etc/hosts 45.79.136.163 ceph-storage 45.79.171.138 ceph-node 配置防火墙 在非生产环境，建议你停用防火墙以及 SELinux 设置，在我们的测试环境中我们会停用防火墙以及 SELinux。 systemctl stop firewalld systemctl disable f...
【分布式系统】ceph部署（命令+截图巨详细版）
最新发布
F12138X的博客
07-09 1788
每个人都想把手伸向夜空，去捕捉那属于自己的星星，但极少有人能真正地知道自己的星星在哪个位置
Ceph寻址
lhc121386的博客
01-30 880
一个大规模分布式存储系统，必须要能够解决两个最基本的问题，即"我应该把数据写到什么地方”与“我之前把数据写到什么地方了” ，因此会涉及数据如何寻址的问题。Ceph寻址流程如图所示。 File:此处的File就是用户需要存储或访问的文件。对于一个基于Ceph开发的对象存储应用而言，这个File也就对应于应用中的“对象” ，也就是用户直接操作的“对象” Object:Object是RADOS所看到的“对象” 。Object与File的区别是， Object的最大尺寸由RADOS限定(通常为2MB或4MB)
ceph radosgw 对象寻址和元数据组织
ganggexiongqi的专栏
03-31 3858
1. 对象寻址 rgw对象寻址的过程就是“拼接对象串“的过程，再结合bucket.pool就能对应到rados对象。 1.1 普通对象 1.2 multipart 对象 1.3 非multipart versioned对象 1.4 multipart versioned 对象 脑补吧... 2. rgw元数据pool的作用 struct RGWZon
Ceph数据流分析
slhywll的博客
04-13 397
Ceph数据流分析
ceph数据的分布及存储
09-13
Ceph 数据分布及存储 Ceph 是一个基于 RADOS 构建的统一存储系统，提供块存储、对象存储和文件存储，具有高可靠性和高扩展性，可以支撑 PB 至 EB 级别的数据。下面详细介绍 Ceph 的数据分布及存储机制。 数据分布 ...
ceph数据读写原理
08-24
### ceph数据读写原理 #### Ceph架构简介与组件 Ceph 是一款分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。它能够支持对象存储、块存储和文件系统存储等多种存储模式。在理解 Ceph 的读写...
ceph数据迁移优化研究
03-05
Ceph distributed storage is also confronting the problems, i.e. the unnecessary transfer of the data leading to the increasing consumption of the system which is triggered by the additions and ...
Ceph优化：用SSD做缓存池方案详解.docx
10-13
Ceph优化：用SSD做缓存池方案详解 Ceph是一种分布式存储系统，为了提高系统性能，可以通过使用SSD（固态硬盘）作为缓存池来优化Ceph性能。在这篇文章中，我们将详细介绍如何使用SSD创建缓存池，以提高Ceph的读写...
ceph资料打包大汇总.zip
05-15
里面包含3本PDF文档： 1. ceph.pdf：ceph知识树结构思维图 2. Ceph架构剖析.pdf：总结了CEPH整体架构 3. Ceph Cookbook.pdf：《Ceph Cookbook》中文版，目录、内容清晰 4. Learning Ceph.pdf：《Learning Ceph》英文电子版，目录、内容支持粘贴复制
[资料] Ceph存储系统，关于Redhat和Suse企业版存储知识汇总
架构师技术联盟
07-18 1566
谈起软件定义存储，不得不提Ceph。几年前笔者专门对Ceph系统进行了分析，但随着越来越多的企业接入，Ceph的企业版也不断飙升。但在众多企业版中，有两家一直备受关注，一...
Ceph 基础入门
西京刀客
04-17 7824
Ceph 快速开始 一、什么是Ceph? 官网： https://docs.ceph.com/docs/master/ http://docs.ceph.org.cn/ Ceph架构介绍 参考URL: https://www.cnblogs.com/passzhang/p/12148933.html 干货｜非常详细的 Ceph 介绍、原理、架构 参考URL: https://blog.csdn.n...
Ceph学习(1)---Ceph入门
weixin_60712169的博客
03-19 2892
Ceph学习(1)---Ceph入门
Ceph入门到实战
08-15
SDS（英文：Software Define Storage）软件定义存储作为新基建（云计算中基础设施建设）重要的一环，Ceph作为未来统一软件定义存储系统，提供了RBD块存储，RGW对象存储和CephFS文件存储接口的接入，本课程结合在企业实践由浅入深多面剖析Ceph存储，一个分为三篇：基础篇、进阶篇和高阶篇，基础篇介绍Ceph的基础概念，Ceph分布式集群部署，RBD块存储的使用，RGW对象存储使用，CephFS文件存储的使用；进阶篇介绍Ceph运维中常见的操作，包括集群扩容，集群管理，CRUSHMAP定制，RBD快照克隆，RBD增量备份与恢复，RGW高可用集群；高阶篇介绍Ceph和kubernetes集成，Ceph与KVM集成，Ceph与openstack云平台集成，SDK开发等内容。备注：本课程以Ceph官方文档为主，不提供资料下载。【【课程大纲】
ceph 数据恢复和回填速度 重建osd 加快数据恢复
mixboot
11-03 1832
ceph 数据恢复和回填速度 重建osd 加快数据恢复
S3和Ceph是什么关系？
08-03
### 回答1： S3是Amazon Web Services提供的一种对象存储服务，而Ceph是一个开源的分布式存储系统，可以提供块存储、文件存储和对象存储。Ceph可以通过RGW（Rados Gateway）模块提供S3兼容接口，因此可以使用S3客户端来访问Ceph集群中的对象存储服务。简而言之，S3是一种对象存储服务，而Ceph是一种可以提供S3兼容接口的分布式存储系统。 ### 回答2： S3和Ceph是两个不同的概念和技术。S3是指亚马逊的对象存储服务，而Ceph是一种开源的分布式存储系统。 S3是一种云存储服务，它允许用户在云环境中存储和检索任意数量的数据。它使用适用于Web的RESTful架构，可以通过HTTP协议进行访问。S3具有高可用性、可伸缩性和耐久性，并在全球各地的多个数据中心提供数据冗余备份。 Ceph是一个分布式存储系统，旨在提供可伸缩性、高性能和高可用性的存储解决方案。Ceph以对象存储的形式存储数据，并使用RADOS（Reliable Autonomic Distributed Object Store）作为底层存储架构。Ceph通过自我修复和数据复制来确保数据的安全性和冗余备份，并使用CRUSH算法来实现数据的动态分布和负载均衡。 S3和Ceph之间的关系是，Ceph可以实现一个与S3兼容的对象存储接口。通过Ceph的各种组件和模块，可以将Ceph存储集群配置为一个S3兼容的存储桶，使得用户可以使用S3 API来访问和管理存储在Ceph集群中的对象。这意味着，通过Ceph作为底层存储系统，可以在私有云环境中构建一个与S3兼容的存储服务，提供与亚马逊S3类似的功能和接口。 总之，S3是亚马逊提供的对象存储服务，而Ceph是一种开源的分布式存储系统。Ceph可以实现S3兼容的对象存储接口，从而允许在私有云环境中构建具有S3类似功能的存储服务。 ### 回答3： S3和Ceph是两种不同的存储技术。S3是亚马逊提供的一种对象存储服务，可以用于存储和检索大量的数据。它提供了可靠性、扩展性和安全性，并且具有广泛的应用场景。 而Ceph是一个开源的分布式存储系统，它可以实现高性能、高可靠性和可扩展性的分布式存储。Ceph提供了对象存储、块存储和文件系统等多种存储模式，可以适应不同的应用需求。 S3和Ceph之间的关系是，Ceph可以作为一个支持S3协议的存储后端，用于实现S3对象存储服务。这意味着，通过配置Ceph存储集群，可以将其作为亚马逊S3的替代方案，提供与S3类似的对象存储功能。 使用Ceph作为S3存储后端有以下一些优势： 1.开源性：Ceph是一个开源项目，可以免费使用和修改，而S3需要购买亚马逊的服务。 2.可定制性：Ceph可以根据自己的需求进行定制和配置，而S3是亚马逊提供的固定的服务。 3.可扩展性：Ceph的存储集群可以根据需要进行扩展，以适应不断增长的数据量，而S3的扩展性受到亚马逊服务器的限制。 总之，S3和Ceph是两种不同的存储技术，但可以通过配置Ceph作为S3存储后端来提供S3对象存储服务，从而享受开源性、可定制性和可扩展性的优势。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值