changtao381的专栏

ceph 分布式存储技术

Linux网络编程模型和Ceph Async 模型探讨

IO多路复用 所谓的I/O多路复用,就是可以监控多个socket上的IO请求。允许多个socket在可读或可写准备好时,应用能被通知到,这样应用就可以一次非阻塞的处理多个socket相关的IO请求。 IO多路复用的有三种实现方式: Select I/O复用模型早期用select实现。...

2018-04-16 19:09:57

阅读数 256

评论数 0

ceph Async 网络通信源代码分析(二)

在上文中,主要介绍了相关的类,本文介绍相关流程。 连接相关的流程介绍 Server端监听和接受连接的过程 这段代码来自 src/test/msgr/perf_msgr_server.cc,主要用于建立Server端的msgr: void start() { entit...

2018-04-15 01:04:49

阅读数 235

评论数 0

Ceph Async 网络通信源代码分析(一)

在Ceph的网络通信模块里,早期一直使用 Simple 这个网络通信模块。由于其实现简单,最早被ceph采用并用于生产环境。其最大的缺陷是:针对每个Connection创建两个线程,一个用于接收消息,一个用于发送消息。在大规模的集群环境下,随着连接数的增多会产生大量的用于通信的线程,极大的影响性能...

2018-04-15 00:54:23

阅读数 400

评论数 0

云计算大会超融合论坛分享

今天有四家公司分别演讲。 联想 第一家公司是联想,其产品为ThinkCloudAIO ,分别有两个型号: H1000 产品: openstack + kvm + ceph , 这个是自己研究开发的产品。上次cephdays和联想的人聊,其目前基于Ceph存储研发团队包括测试达到50人左...

2018-02-12 17:40:56

阅读数 346

评论数 0

云计算环境中关于 rbd cache 的启用

磁盘Cache设置分析 定义 本文指的磁盘Cache(或者Disk Cache)指的是磁盘驱动器内部的写Cache,其为易失型Cache,断电数据会丢失。大约16~128M大小。 何时同步 系统调用fsync/fdatsync/sync都会把数据从内存刷回到磁盘,并且在文件系统ba...

2018-02-12 17:16:10

阅读数 353

评论数 0

ceph MDS 性能测试分析

Cep MDS 的简单的测试结果,详情请点击公众号: http://mp.weixin.qq.com/s/R8TC-S6h_gHPaokTGTqKeQ 结论如下 ceph MDS在主处理流程中使用了单线程,这导致了其单个MDS的性能受到了限制,最大单个MDS可达8k ops/s,CPU利...

2018-02-12 13:11:20

阅读数 1223

评论数 0

Ceph OSD写操作失效如何处理

正常的写流程在OSD端正常的写操作流程中,在函数ReplicatedBackend::submit_transaction把请求加入到in_progress_ops 队列中map<ceph_tid_t, InProgressOp> in_progress_ops;该map保存了所有正在...

2017-05-20 23:22:15

阅读数 1446

评论数 0

关于Ceph的EC实现rollback的两个问题

今天又人问了我两个关于EC的问题,这是个比较好的问题,就在这里写篇博客解答,希望对大家理解EC有帮助。1)EC 在 remove object的时候,考虑到回滚,不是马上删除,那么什么时刻真正删除? 2) 回滚机制如何触发? 问题1:什么时候真正删除对象? 字段 min_last_complet...

2017-05-19 00:45:49

阅读数 1108

评论数 0

Ceph中出现unfound object的情况和处理

在上周的ceph-devel 邮件列表中,有人提到了在测试的环境中出现了 unfound object 的状态,本文试图分析这种情况发生的原理。首先介绍一下什么是 unfoud object ? unfoud object 对象就是 完成了peering 过程,各个副本达成了一致的状态。 简单的说...

2016-10-17 00:09:26

阅读数 2130

评论数 0

ceph pg split

在生产环境里,一个ceph的pool里有大量数据,当添加一些新的osd到集群里时,总是报告WARNING信息,这时为了消除这个告警信息, 就使用一下命令来增加该pool的pg的数量。ceph osd pool set ${pool_name} pg_num 这里就有一个疑问,当pg的数量增加后...

2016-05-25 17:34:58

阅读数 1174

评论数 0

ceph中 up_thru 的 作用

up_thruup_thru的概念的引入,是为了解决当断电,或者其它原因,同时导致两个以上的osd处于down,但是monitor在两次epoch 中检测到了这种状态, 从而导致monitor认为它们是先后down掉,后down 的osd 有可能产生数据的更新,这导致需要等待该osd的恢复,否则有...

2016-04-21 10:32:04

阅读数 1215

评论数 0

Ceph 网络通信源代码分析

对于一个分布式存储系统,需要一个稳定的底层网络通信模块,用于各个节点的之间的互联互通。对于一个网络通信系统,要求: 高性能 性能评价的两个指标: 带宽和延迟 稳定可靠 在网络中断时,实现重连。数据不丢包 在msg的子目录下, 分别对应三种不同的实现方式:Simple, Async, XIO S...

2016-03-17 17:19:46

阅读数 3899

评论数 0

FreeStor究竟能够有多Free

FreeStor究竟能够有多Free 宋家雨   有人说软件定义存储是存储虚拟化的翻版,对此我曾经撰文指出,软件定义存储不是存储虚拟化的“马甲”(详见:软件定义存储不是谁的“马甲”),实际上,二者各有侧重。其中,存储虚拟化强调不同品牌存储阵列的一体化管理问题,主要解决数据中心多种品牌磁盘阵列的...

2015-12-14 22:56:52

阅读数 743

评论数 0

ceph 读写路径源代码分析(2)

数据结构 MOSDOp OSDOp struct OSDOp { ceph_osd_op op; sobject_t soid; bufferlist indata, outdata; int32_t rval; OSDOp() : rval(0) { ...

2015-12-08 10:27:06

阅读数 2013

评论数 1

Ceph快照的原理和实现

ceph的基本的特性之一,就是支持rbd的snapshot和clone功能。Ceph都可以完成秒级别的快照。ceph支持两种类型的快照,一种是pool级别的快照,是给整个pool中的对象整体做一个快照。另一个是rbd级别的快照的,给单个rbd的volume做一个快照。ceph目前并没有给单独的对象...

2015-12-05 13:29:16

阅读数 9334

评论数 3

Ceph 读写路径源代码分析(1)

dispatch_op_fast 1) 首先调用函数op_required_epoch(op), 从OpRequest中获取 epoch 比较msg的 epoch 的比较 2)msg_epoch > osdmap->get_epoch() 如果 msg 带的epoc...

2015-12-03 15:48:08

阅读数 5428

评论数 5

Ceph 基本数据结构(1)-object

Ceph的基本的概念就是对象object,在ceph的rados概念中,一个对象就是一个文件系统中的文件,具体在代码实现中,有object, sobject, hobject, ghobject等概念,在阅读ceph 的源代码时,多上述几个概念有点容易理不清。struct object_t { ...

2015-11-29 22:23:25

阅读数 3387

评论数 0

Ceph 参数性能调优

Ceph 参数性能调优 Ceph调优参数 网络的各种Ceph参数的优化比较多,有些有效果,有些在某些场景下不但达不到预期的效果,反而有相反的效果。很多参数如果不了解其意义,面对不同的应用场景就显得无所适从,所以有必要简单的了解一下相关的原理。 Ceph的基本原理 Ceph数据写流程 [Image:...

2015-11-18 14:53:16

阅读数 8078

评论数 0

ceph 数据均衡

ceph 数据均衡 问题的提出: 在ceph集群中,当有新的OSD 添加到集群中,会导致数据移动以达到数据均衡,数据的移动只在旧的OSD和新添加的OSD之间移动,还是旧有的OSD之间也有数据移动? 上次Ceph社区交流,有人提到,当有100个OSD时,添加OSD, 旧有的OSD之间会...

2015-11-18 14:51:08

阅读数 2444

评论数 2

ceph 源代码分析 — peering 过程

get_infosvoid PG::RecoveryState::GetInfo::get_infos()函数get_infos 向prior_set的probe 集合中的每个osd发送pg_query_t::INFO的消息,来获取pg_info信息context< RecoveryMach...

2015-10-14 15:29:55

阅读数 8748

评论数 5

提示
确定要删除当前文章?
取消 删除
关闭
关闭