ceph数据一致性机制浅析

最新推荐文章于 2022-06-21 11:32:37 发布
最新推荐文章于 2022-06-21 11:32:37 发布
阅读量3.2k 收藏
点赞数
文章标签： 自由软件 数据 数据库 中国 object
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/45534901
版权


ceph数据一致性机制浅析


Ceph的读写操作采用主-副模型，Client只向Object所对应OSD集合的主OSD发起读写请求，这保证了数据的强一致性。由于每个Object都只有一个主OSD，因此对Object的更新都是顺序的，不存在所有的OSD上时，主OSD才确认完成写请求，这保证了副本的一致性。在2015年中国数据库技术大会上，苏州自由软件用户组发...


详细解读 和小伙伴们一起来吐槽

chengying332
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ceph中对象IO的一致性
梦幻之巅
04-20 1582
从15年3月接触Ceph分布式存储系统，至今已经5年了；因为工作的需要，对Ceph的主要模块进行了较深入的学习，也在Ceph代码层面做了些许改进，以满足业务需要（我们主要使用M版本）。最近得闲，将过往的一些学习心得、改进以及优化思路记录下了，希望能对后来者有所帮助。 这是第三篇：Ceph中对象的一致性 不仅仅是Ceph，所有的分布式存储系统都会涉及到多个层面的数据一致性，具体到Ceph层面，我们从...
错误的状况下，ceph IO 的一致性如何保证
guzyguzyguzy的博客
12-13 2588
最近研究了在出现错误的状况下，ceph IO 的一致性如何保证。代码基于hammer0.94.5版本。 构建一个集群，包括三个OSD, osd.0 osd.1 osd.2。
Ceph的数据的重平衡和数据一致性的实现方式
xuqiaobo的博客
05-09 2487
数据重平衡： 当在Ceph存储集群中添加新的OSD时，CURSH会重新计算PG ID，相应的集群映射表也会更新，基于重新计算的结果，对象数据的存放位置也会发生变化。 数据一致性 为保证数据的一致性和清洁性，Ceph存储集群会定期清洗PG中的对象数据，大概原理就是Ceph OSD会将一个PG中的数据与另一个PG中该数据的存储副本进行比较，以此获取对比结果，数据的清洗分为两种：第一种是轻度清洗，
Ceph恢复与数据一致性
zrs19800702的博客
11-10 652
Ceph: 恢复与数据一致性
解析Ceph: 恢复与数据一致性
周健华的专栏
05-23 5045
作为一个面向大规模的分布式存储系统，故障处理是作为一个常态异常处理。Ceph 为了细化和保证故障发生和故障恢复的集群高可用性和一致性，在设计上将故障分为两类:临时性故障: 主机升级维护，重启，掉电等等在一定时间内可以重新上线 OSD 的故障 永久性故障: 作为强一致存储系统，状态只跟存储在持久设备的数据有关，因此这类故障主要就是盘损坏或者主机损坏并无法及时转移盘到另外主机。换句话说救是一定时间内无
【分析】Ceph数据一致性检查 - 端到端的数据校验
渡江客涂鸦板
07-15 3572
何谓端到端的数据校验？是指应用层在写入数据时，在经过每个数据模块时，都计算并增加一个校验和信息，并将这些校验和信息和数据块一起发送至磁盘。磁盘在接收到数据包之后，会重新校验信息，并和接收到的校验信息做对比。如果不一致，就认为在IO路径上发生了错误。同样在数据读取时，应用层在获取数据块和从磁盘读取到校验信息后，也需要再次校验一致性
Ceph浅析：概况与设计思想
03-01
其命名和UCSC（Ceph的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。Ceph，当下已成为...
ceph数据流分析知识
最新发布
04-17
BlueStore还提供了一个事务机制，用于确保数据的一致性。在这个机制中，BlueStore会将读写操作分为小写和大写，然后执行真正的读写操作。 下面是BlueStore的一些重要函数： * BlueStore::queue_transactions：将...
ceph数据的分布及存储
09-13
Ceph 的数据分布及存储机制是基于 RADOS 构建的统一存储系统，具有高可靠性和高扩展性，可以支撑 PB 至 EB 级别的数据。Ceph 的数据分布机制使用 Object 到 PG 的映射和 PG 到 OSD 的映射，数据备份策略使用 ...
lidaohang#ceph_study#Ceph OSDMap 机制浅析1
07-25
在 OSDMap 数据中 Pool 集合，副本数，PG 数量，OSD 集合这 4 项由运维人员来指定，虽然 OSD 的状态也可以由运维人员进行更改，但是实际运行
ceph使用quorum如何保障数据一致
oscube的博客
12-29 750
ceph包含两个层面的log，每个osd有自己的log，保障单个osd操作的原子性。每个pg有pglog，保障多副本之间的一致性。 pglog中带有pg的版本号，由pgleader每次更新数据的时候分配，pglog整体发送给每个osd，osd收到请求后，转化成osdlog写入本地磁盘中。 如果写入过程中，部分osd出现了故障，可以通过校验日志的方式，来同步副本并达成一致。 ...
基于pglog的Ceph一致性存储问题-转载
b779789251的博客
11-10 291
基于pglog的Ceph一致性存储问题 吴东  2016 年 3 月 30 日 https://www.infoq.cn/article/consistency-storage-problem-of-ceph-based-on-pglog  语言 & 开发架构 分布式存储系统通常采用多副本的方式来保证系统的可靠性，而多副本之间如何保证数据的一致性就是系统的核心。Ceph 号称统一存储，其核心 RADOS 既支持多副本，也支持纠删码。本文主要分析 C
【ceph】ceph学习：浅析开源项目之Ceph--研读
bandaoyu的note
01-26 1341
目录 1 Ceph概述 2 核心组件 3 IO流程 4 IO顺序性 5 PG一致性协议 5.1 StateMachine 5.2 Failover Overview 5.3 PG Peering 5.4 Recovery/Backfill 6 引擎概述 7 FileStore 7.1 架构设计 7.2 对外接口 7.3 日志类型 7.4 幂等操作 8 BlueStore 8.1 架构设计 8.2 BlockDevice 8.3 磁盘分配器 ..
【ceph】cephfs的锁 笔记
bandaoyu的note
06-21 626
1、本文讨论的锁不是flock。flock是posix标准中对文件某部分偏移加的锁。而这里的锁指的是MDS集中管理多客户端对于文件并发访问时，Dentry和Inode等数据结构控制的锁。每个锁内有parent变量记录的就是该锁相关的Dentry或者Inode。Cephfs采用和GPFS类似的并发更新元文件的方式。同一份元数据分散多个MDS节点，但是有一个Auth节点，该节点负责－ 串行更新（serializing updates）－ 将元数据持久化到磁盘上（committing changes to dis
分布式系统副本强一致-(4)
字节跳动 内推找我
11-12 572
副本 副本一致性是分布式系统的基本问题之一。副本问题是组通信问题，达成副本一致有很多种方式，在介绍具体算法之前，先从更高的层面上看看通信模型。 客户端发起请求，最后客户端收到回复，有两种常见的模式： 同步：所有节点必须全部成功，才返回client 异步：一个成功，立刻返回 同步副本 从组通信的角度，同步副本是一个N-to-N的模型。也就是说在客户端返回之前，所有的server必须事先完成处...
ceph存储 基于pglog的一致性协议
skdkjxy的专栏
05-24 2949
 分布式存储系统通常采用多副本的方式来保证系统的可靠性，而多副本之间如何保证数据的一致性就是系统的核心。ceph号称统一存储，其核心RADOS既支持多副本，也支持纠删码。本文主要分析ceph的多副本一致性协议。 1.pglog及读写流程 ceph使用pglog来保证多副本之间的一致性，pglog的示意图如下：pglog主要是用来记录做了什么操作，比如修改，删除等，而每一条记录里包含
读写锁优先级的问题解决了
华的专栏
07-08 4489
这个问题就是:对一个同享的数据布局,读的频率远弘远于写,所以用了读写锁.但是发现写线程老是抢不到锁. 按The Open Group 的Single UNIX? Specification所说，"Thepthread_rwlock_rdlock() function applies a read lock to the read-write lock referenced by rwlock
嵌入式 互斥锁和读写锁区别
skdkjxy的专栏
06-01 1255
/*  * 线程同步——互斥量  * 创建两个线程，使用互斥量使任一时刻只有一个线程对全局变量进行 操作  * Lzy 2011-6-19  */ #include stdio.h> #include stdlib.h> #include pthread.h> pthread_mutex_t mutex;                    /* 定义 互
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值