![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ceph
--小史--
这个作者很懒,什么都没留下…
展开
-
ceph基于令牌桶算法的image的流量IOPS上限限制
经过我测试发现,ceph基于令牌桶算法的流量和IOPS上限限制还是比较精准的。之前的测试报告找不到了,以后我会补上。源码地址为:https://github.com/ShiqiCooperation/shiqiceph 本次修改是基于0.94.3版本,之后的版本rbd源码可能有变化,但是在实现上大同小异。一,在librbd模块,做限制原创 2017-06-05 10:52:56 · 3276 阅读 · 0 评论 -
让cephfs单客户端在垃圾硬件上每秒写入几万个文件
之前业界一直误会了分布式文件系统。 都认为对象存储的优越性好于NAS。业界部分人认为:对象存储是扁平的,而文件系统是树型的,不够扁平,所以对于海量小文件的性能上,对象存储要比文件存储性能好。在分布式文件系统兴起后,这个结论是错的。原因如下: 1,把对象存储和传统NAS比,传统NAS是在块设备上做xfs+nfs,nfs流量是单点的。 新型的NAS早就以分布式文件系统ceph...原创 2019-04-02 14:05:33 · 2109 阅读 · 2 评论 -
cephfs 多MDS负载均衡的使用方式
最近发现不少朋友,对cephfs的使用方式存在误区。很多朋友线上连接数十几万,IOPS压力巨大,依然在跑着单mds。直接导致单mds session耗尽,mds进程down。或者扛不住那么大的IOPS,性能很慢。要知道cephfs的性能是随着mds的数量增加线性增长的,mds越多cephfs性能越好。灵活的让多个mds分担IOPS,连接压力是最佳选择。但是多mds如果配置不好,会导致IO夯住,这...原创 2019-04-01 15:47:52 · 5635 阅读 · 0 评论 -
cephfs 的数据与元数据组织形式 (cephfs探索二)
cephfs 文件系统,由数据和元数据2部分组成。元数据即目录和文件。数据就是文件里的数据和内容。 不管数据还是元数据,最后在底层filestore层,都以对象文件的形式存储。一,cephfs相关模块 1,ceph-fuse,cephfs-kernel ceph客户端有2种模式,使用...原创 2018-02-26 21:59:04 · 6582 阅读 · 3 评论 -
pg Incomplete和inconsistent状态源码逻辑和解决
首先我们从字面意思理解下这2个pg状态。 Incomplete : 没完成 inconsistent : 不一致 那么是什么没完成和不一致呢? 简单来说Incomplete是pg peering没完成。inconsistent 是pg三副本中的数据不一致一, Incomplete解说原创 2018-01-08 20:56:14 · 3929 阅读 · 0 评论 -
cephfs mds的冷备与热备(cephfs探索一)
这是mds新手入门篇,主要内容讲述mds冷备,热备区别和重放的关系。我们只讨论单active mds的情况一,mds的冷备 1, 我们用ceph-deploy mds create {host-name}创建一个mds, 这时候会有一个active的mds作为文件系统的元数据缓存来为文件系统提供服务,mds缓存了dentry,并且以lru...原创 2018-01-17 17:31:17 · 5702 阅读 · 1 评论 -
pg数计算公式(新,翻译官网)
pg数=( Target PGs per OSD ) x ( OSD # ) x ( %Data ) / ( Size )Target PGs per OSD : 表示预计osd个数, 1,假如osd数,以后不会增加,那这个值是100原创 2018-01-17 15:41:01 · 3653 阅读 · 0 评论 -
Ceph 12源码编译部署bluestore
楔子:之前写过一份源码部署(QQ群 72651441 里有),但是ceph12版本编译完全变了,并且之前的部署方式也不能适应bluestore。 一,源码编译准备工作1, 下载源码官网下载地址为:http://ceph.com/download/ 此次我们用的版本是ceph-12.0.1版本,操作系统为redhat7.1。 这里建议从官方网站上下载源码,而不是在原创 2017-05-17 16:54:00 · 5852 阅读 · 3 评论 -
ceph IO切割成对象和对象名的组成(块存储)
看到很多关于oid-->pgid-->osdid映射的文章。 但是 读写IO到-->oid的映射,却没有相关的文章。我认为一个完整的映射关系应该是这样的:read write IO---->oid---->pgid---->osdid 。下面我们重点研究下read write IO---->oid的映射关系。一, 读写I...原创 2017-09-29 15:45:23 · 4233 阅读 · 1 评论 -
使用systemtap分析ceph源码流程
说明:之前一直用gdb和lttng 调试ceph源码,后来又发现了systemtap,下面对比下这三种工具。一,3种源码分析工具的比较 1,gdb 优点:擅长做精细化的调试。比如查看变量内容,查看内存内容,下条件断点等。原创 2017-08-21 20:03:54 · 2041 阅读 · 0 评论 -
ceph crush算法不一样的理解,新增删除osd造成少量数据迁移
摘要:之前对ceph的crush算法的理解,很多时候没有针对问题来考虑。我现在就提出几个问题 1,ceph怎么做到的每次down掉一个osd或者新增一个osd后,只有少量的数据迁移?而不是所有数据都在osd之间来回迁移?(据说sheepdog是大量迁移,所以这个就别拿来和ceph比性能了,连弹性扩容都做不到。) ...原创 2017-07-21 20:13:11 · 4398 阅读 · 1 评论 -
osd_pool_default_min_size参数是否一定要配置?
疑惑:使用ceph --show-config 可以看到默认情况下osd_pool_default_size = 3 #创建pool的时候默认pool是3副本osd_pool_default_min_size = 0 #按照网上的解释,这个参数是定义了参数pool最少可写的副本数,并且通常设置成2曾经有这样2个疑问,默认参数osd_pool_default_min_si...原创 2019-08-01 17:54:40 · 7038 阅读 · 1 评论