![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文件系统
Jack-changtao
关注并行文件系统,数据库技术,linux kernel ,搜索引擎,分布式计算,BI. 《ceph源代码分析》作者
展开
-
Crimson: evolving Ceph for high performance NVMe
ceph seastar, crimson原创 2022-08-05 09:23:50 · 370 阅读 · 0 评论 -
Ceph 源代码介绍
本文分析的源代码是ceph-0.56.1, 其源代码在 github上https://github.com/ceph/ceph 可以下载。Ceph是并行文件系统,其体系结构就不在这里叙述了。可参见: http://blog.csdn.net/changtao381/article/details/8698935其结构如下:在src 里,网络通信: msg 里面 包括了网络传输的原创 2013-03-26 11:08:12 · 7333 阅读 · 1 评论 -
ceph 源代码分析 — peering 过程
get_infosvoid PG::RecoveryState::GetInfo::get_infos()函数get_infos 向prior_set的probe 集合中的每个osd发送pg_query_t::INFO的消息,来获取pg_info信息context< RecoveryMachine >().send_query( peer, pg原创 2015-10-14 15:29:55 · 12820 阅读 · 8 评论 -
Ceph radosgw 安装配置
Ceph radosgw 安装配置Ceph radosgw对象存储的接口,研究配置了许久,先分享如下。首先配置的前提是,你成功的配置了Ceph集群,通过ceph –s 查看ceph集群,处于health状态。在这里,我们这种集群的有个auth的配置为none,所以有关auth的部分也就是有关keying的,这里省略。1)创建rgw相关的pool ceph osd pool create .rgw原创 2015-08-27 00:20:24 · 12847 阅读 · 0 评论 -
Ceph 文件系统介绍
现状Ceph的目标是提供一个general-purpose的并行文件系统,设计目标是也是在廉价的存储介质上构建具有 high performance, high scalibility, high available, 其目标是应用在科学计算等HPC领域。目前其已经被纳入处于linux内核之中,用c++开发。但是,无论从架构和其工程实现来看,都很不成熟,难以在production enviro原创 2013-03-20 14:57:09 · 17699 阅读 · 2 评论 -
PanasasFS File System 介绍
Panasas公司于1999年由卡内基梅隆大学的Garth Gibson等人创建。其提供的并行文件系统PanFS是通用的并行文件系统,目前其主要的应用领域和luster类似,都是用于HPC领域,这就要求其具有高可用,可扩展行,高性能,通过分布式锁提供的强一致性。体系架构如图Figure1 所示,整个存储集群分为两类节点:Storage node 和 Manage Node,其比例一原创 2013-03-25 14:26:13 · 1726 阅读 · 0 评论 -
Ceph 源代码分析 -OS module
Ceph的src/os 中保存了 ObjectStore代码实现。基本概念对象对象存储的概念,把对象作为存储的实体。 在Ceph 文件系统里,对象的命名空间分了两层, 第一层是Collection的概念,一个Collection就是许多Object的集合,相当于其他对象存储的group的概念,用coll_t来标识。 ObjectStore 类 就代表了一个O原创 2013-03-26 14:19:34 · 9767 阅读 · 1 评论 -
ZFS 文件系统研究
ZFS是SUN推出的世界上第一个128位的文件系统,这意味着它能存储1800亿亿(18.4 × 10^1 8)倍于当前64位文件系统的数据。ZFS的设计如此超前以至于这个极限就当前现实际可能永远无法遇到。以下是ZFS的一些理论极限:* 2^48 — 任意文件系统的快照数量 (2 × 10^14)* 2^48 — 任何单独文件系统的文件数 (2 × 10^14)*原创 2013-04-02 14:31:11 · 4445 阅读 · 0 评论 -
Ceph 文件系统源代码分析 - OS module (2)
在了解Object, Collection, OMap 对象存储 的基本概念,之后大家需要了解文件系统的基本的知识,如transaction, journal等,这里就不详细介绍了。下面具体分析OS模块的代码。主要的类就是ObjectStore类,其内部有一个重要的transaction类。 JournalingObjectStore继承了ObjectStore的,添加了Journal的功原创 2013-03-26 19:24:29 · 5792 阅读 · 1 评论