cephfs file stripe简介

最新推荐文章于 2022-11-04 17:09:17 发布
最新推荐文章于 2022-11-04 17:09:17 发布
阅读量828 收藏 1
点赞数
分类专栏： ceph 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiang4357291/article/details/103358257
版权

文章目录

概念介绍

layout

cephfs file layout描述了一个file对象是怎么存储到rados中的，存储在文件的xattr中。文件xattr为ceph.file.layout，目录xattr为ceph.dir.layout

下面是一个layout示例：

ceph.file.layout="stripe_unit=4194304 stripe_count=1 object_size=4194304 pool=cephfs_data"

可以看到主要有几个字段：

  • stripe_unit：条带大小，单位bytes，条带划分的基本单位，也是一个文件对象逻辑的最细粒度切分
  • stripe_count：连续几个stripe unit组成一个完整的stripe
  • object_size：rados对象大小
  • pool：顾名思义，表示文件存储在哪个存储池

file stripe

根据layout对一个文件进行逻辑切分

实例

下面通过官网上的一个例子来说明条带化是如何切分的：

  • file size = 1 trillion = 1000000000000 bytes
  • stripe_unit = 64KB = 65536 bytes
  • stripe_count = 5 stripe units per stripe
  • object_size = 64GB = 68719476736 bytes
  1. 每个object大小为64G，5个object为一组，则每个object set size大小为64*5=320G；所以1 trillion bytes文件会分为1000000000000/320G(343597383680 bytes)=2余312805232640，所以该文件被分割为2个完整的object set(320G)，再加一个不完整的object set(312805232640 bytes)。
    _________   _________   _________   _________   _________
  /object  0\ /object  1\ /object  2\ /object  3\ /object  4\
  +=========+ +=========+ +=========+ +=========+ +=========+
            object set 0:complete object set
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object  5\ /object  6\ /object  7\ /object  8\ /object  9\
  +=========+ +=========+ +=========+ +=========+ +=========+
            object set 1:complete object set
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object 10\ /object 11\ /object 12\ /object 13\ /object 14\
  +=========+ +=========+ +=========+ +=========+ +=========+
            object set 2:incomplete object set
  \=========/ \=========/ \=========/ \=========/ \=========/
  1. 一个stripe的大小是stripe unit*strip counts，本例中即64KB*5=320KB，那显然每个complete object set包含320G/320KB=1048576个stripe，而最后一个incomplete object set则包含312805232640 bytes/320KB=954605个stripe，且剩余312805232640 bytes%320KB=266240 bytes，所以三个object set的stripe范围分别是0~1048575,1048576~2097151,2097152~3051757
  _________   _________   _________   _________   _________
  /object  0\ /object  1\ /object  2\ /object  3\ /object  4\
  +=========+ +=========+ +=========+ +=========+ +=========+
  
o                 stripe 0(complete)
b 
j |---------| |---------| |---------| |---------| |---------|
e 
c                 stripe 1(complete)
t 
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
0 
                  stripe 1048575(complete)
  
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object  5\ /object  6\ /object  7\ /object  8\ /object  9\
  +=========+ +=========+ +=========+ +=========+ +=========+
  
o                 stripe 1048576(complete)
b 
j |---------| |---------| |---------| |---------| |---------|
e 
c                 stripe 1048577(complete)
t 
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
1 
                  stripe 2097151(complete)
  
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object 10\ /object 11\ /object 12\ /object 13\ /object 14\
  +=========+ +=========+ +=========+ +=========+ +=========+
  
o                 stripe 2097152(complete)
b 
j |---------| |---------| |---------| |---------| |---------|
e 
c                 stripe 2097153(complete)
t 
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
2 
                  stripe 3051756(complete)
  
  |---------| |---------| |---------| |---------| |---------|
  
                  stripe 3051757(incomplete)
  
  \=========/ \=========/ \=========/ \=========/ \=========/
  1. 最后是stripe unit填充，stripe_count=5，所有complete stripe都是有5个stripe unit，所以complete stripe共有3051757*5=15258785个stripe unit，每次按5个填充，编号为0~15258784；所以最后一个incomplete stripe的stripe unit则是从15258785开始，而其大小则为266240bytes，那么显然共有266240/64KB=4个stripe unit，并余有266240%64KB=4096bytes大小。至此全部划分已明了，最后一个incomplet stripe的大小是4096bytes。
    所以这个1 trillion bytes大小的文件的完整stripe划分如下所示：
  _________   _________   _________   _________   _________
  /object  0\ /object  1\ /object  2\ /object  3\ /object  4\
  +=========+ +=========+ +=========+ +=========+ +=========+
  |  stripe | |  stripe | |  stripe | |  stripe | |  stripe |
o |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | stripe 0
b |     0   | |     1   | |     2   | |     3   | |     4   |
j |---------| |---------| |---------| |---------| |---------|
e |  stripe | |  stripe | |  stripe | |  stripe | |  stripe |
c |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | stripe 1
t |     5   | |     6   | |     7   | |     8   | |     9   |
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
0 |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
  |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 1048575
  | 5242875 | | 5242876 | | 5242877 | | 5242878 | | 5242879 |
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object  5\ /object  6\ /object  7\ /object  8\ /object  9\
  +=========+ +=========+ +=========+ +=========+ +=========+
  |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
o |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 1048576
b | 5242880 | | 5242881 | | 5242882 | | 5242883 | | 5242884 |
j |---------| |---------| |---------| |---------| |---------|
e |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
c |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 1048577
t | 5242885 | | 5242886 | | 5242887 | | 5242888 | | 5242889 |
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
1 |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
  |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 2097151
  | 10485755| | 10485756| | 10485757| | 10485758| | 10485759|
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object 10\ /object 11\ /object 12\ /object 13\ /object 14\
  +=========+ +=========+ +=========+ +=========+ +=========+
  |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
o |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 2097152
b | 10485760| | 10485761| | 10485762| | 10485763| | 10485764|
j |---------| |---------| |---------| |---------| |---------|
e |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
c |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 2097153
t | 10485765| | 10485766| | 10485767| | 10485768| | 10485769|
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
2 |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
  |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 3051756
  | 15258780| | 15258781| | 15258782| | 15258783| | 15258784|
  |---------| |---------| |---------| |---------| |---------|
  |  stripe | |  stripe | |  stripe | |  stripe | | (partial| (partial
  |   unit  | |   unit  | |   unit  | |   unit  | |  stripe | stripe
  | 15258785| | 15258786| | 15258787| | 15258788| |  unit)  | 3051757)
  \=========/ \=========/ \=========/ \=========/ \=========/

参考链接

[1] cephfs file layout

[2] cephfs file stripe

jiang4357291
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cephfs文件布局
weixin_34417814的博客
06-06 521
2019独角兽企业重金招聘Python工程师标准>>> ...
Ceph RBD：条带（stripe）详解
easonwx的博客
06-24 2888
条带（stripe）是把连续的一段数据按照一定size切分成多个数据块，这些数据块可以存储在指定数量的磁盘中。主要有如下两个概念：如果stripe_unit设置为1M，stripe_num设置为6，那么10M的数据是如何存储的呢？Ceph RADOS层本身是无条带概念的，需要RBD进行控制。RBD将RADOS对象看作是磁盘，其他概念与前文介绍相同。如果stripe_unit设置为1M，stripe_num设置为6，每个RADOS对象可以存储4M数据，那么40M的是按照如下存储的。创建一个stripe_uni
【ceph】CephFS文件系统和管理
bandaoyu的note
01-22 3474
目录 CephFS简介 CephFS客户端 内核客户端 FUSE客户端 Rank 设置Rank数量 减少Rank数量 Rank状态查看 高可用配置 CephFS管理命令 文件系统相关 设置相关 最大文件大小和性能 down掉集群 快速关闭群集以进行删除或灾难恢复 守护进程 最低客户端版本 全局设置 高级用法 CephFS简介 CephFS作为Ceph集群最早原生支持的客户端，但成熟的最晚，而最成熟的还是RBD。要想在集中中可以使用CephFS客户端，需要创建至少
ceph EC如何设置条带大小
Hequan的专栏
04-02 4665
问题描述： 在EC中有条带的概念，条带是编码的最小单位，在Ceph中也有stripe_width这个变量表示条带宽度，系统默认的条带宽度是4096，如果我现在想修改为8192，该怎么办呢？解决方法： 使用参数：osd_pool_erasure_code_stripe_width 有三种方法来修改条带的宽度:第一种方法： 这是一种永久性的方法，在config_opts.h文件中修改参数的值，重
ceph 代码分析 读_Ceph代码分析-OSD篇
weixin_39626927的博客
12-23 322
Ceph分布式文件系统的代码分析的文章网上是比较少的，本团队成员对ceph做过详细的代码阅读，包括mds、osd、client等模块，但是缺少条理清晰的文档总结。暂且先放上OSD的代码分析，等后续整理陆续放上其它模块的。1 OSD的基本结构主要的类，涉及的线程，工作的方式1.1 类OSD该类主要用以处理网络消息，与mds客户端等之间的网络连接的维护。当收到客户端或者mds对...
ceph分布式存储解说
04-05
文件存储，如Ceph的CephFS和GlusterFS，提供了类似于传统文件系统的访问方式，支持并行化访问和冗余机制，适合存储非结构化的数据，如文本文件、图像和视频。GlusterFS是一个开源的分布式文件系统，通过网络连接廉价...
opencart3 stripe 支付插件
04-28
**OpenCart 3 Stripe 支付插件详解** OpenCart 3 是一款流行的开源电子商务平台，它提供了多种支付集成选项，让商家能够接受各种在线支付方式。Stripe 是一个知名的支付处理服务，以其易于使用和强大的功能而受到...
stripe-php:Stripe APIPHP库
05-12
它包括API资源的一组预定义类，这些类可根据API响应动态地进行自身初始化，从而使其与Stripe API的各种版本兼容。要求PHP 5.6.0及更高版本。作曲家您可以通过安装绑定。 运行以下命令：composer require stripe/...
stripe-java：Stripe API的Java库
02-17
< artifactId>stripe-java</ artifactId> < version>20.38.0</ version></ dependency>其他您需要手动安装以下JAR： 来自的Stripe JAR 来自 。 如果您打算使用ProGuard，请确保排除Stripe客户端库。 您可以通过将...
springboot-stripe-demo.zip
09-08
使用springboot 开发Stripe支付的一个demo，大家可以下载参考一下，博客地址：https://blog.csdn.net/maxi1234/article/details/105002346
Cephfs数据池数据对象命名规则解析
QTM_Gitee的博客
11-04 267
众所周知，cephfs的数据和元数据是分离的，处于不同的pool池里头，而无论是rgw、cephfs、rbd底层的数据池的存储都是基于RADOS(Reliable Autonomic Distributed Object Store),Ceph存储集群的基础，RADOS层的一切都是以对象的形式存储着的，无论上层是文件、对象还是块。主要说说cephfs的文件在数据池中是如何分布的，下面以cephfs的内核客户端为例进行分析。
ceph 代码分析 读_ceph源码阅读 erasure-code
weixin_34357833的博客
01-05 978
1、ceph纠删码纠删码(Erasure Code)是比较流行的数据冗余的存储方法，将原始数据分成k个数据块(data chunk)，通过k个数据块计算出m个校验块(coding chunk)。把n=k+m个数据块保存在不同的节点，通过n中的任意k个块还原出原始数据。EC包含编码和解码两个过程。ceph中的EC编码是以插件的形式来提供的。EC编码有三个指标：空间利用率、数据可靠性和恢复效率。cep...
分布式存储Cephfs读取优化方案
weixin_44389885的博客
09-30 1405
1.背景说明 继上次分享的 Ceph介绍及原理架构分享 和 分布式存储Ceph之PG状态详解 ，这次分享点干货。 用户需要从cephfs存储系统中检索一个大文件指定关键字的一行信息， 并且对延迟和性能要求比较高。 2. 原始方案 2.1 流程图 image.png 2.2 说明 假如用户拉取的文件大小是16M, 文件按照4M切分，散落到四个数据片上 用户首先请求ce...
CephFS 文件布局性能测试对比
weixin_44389885的博客
01-09 1106
1. 设置不同的object size进行测试 1.1 object size 4M #上传到挂载目录 $ ll -lh /mnt/object_size_4M/ total 2.7G -rw-r--r-- 1 root root 832M Jun 21 11:09 alchemy-api.error.log._test_1G -rw-r--r-- 1 r...
ceph学习笔记之十三 CephFS文件系统
weixin_33962621的博客
10-10 512
CephFS文件系统 Ceph FileSystem简称CephFS,是一个支持POSIX接口的文件系统存储类型。目前发展比较滞后，主要原因CephFS技术不够成熟，另外受云计算对RBD和RADOSGW需求比CephFS大，社区将发展重点放到RBD和RADOSGW之上。因此目前CephFS还是比较适合实验或测试场景；随着应用需求增多CephFS将逐渐被重视。CephFS架构...
【Ceph】Ceph-RGW基本原理
bandaoyu的note
06-10 2773
原文：https://www.sohu.com/a/120065877_468741 背景 Ceph提供了三种存储类型：块存储、文件存储和对象存储，本文主要介绍对象存储的RGW基本原理和应用场景。 RGW 1 什么是对象存储？ 对象存储(云存储)是面向对象/文件的、海量的互联网存储。对象存储里的对象是经过封装了的文件，在对象存储系统里， 不能直接打开/修改文件，但可以像ftp一样上传文件，下载文件等。另外，对象存储没有像文件系统那样有一个很多层级 的文件结构，而是只有一个“桶”的概念（也就是存储
4种cephfs扩容方案
sqlora的专栏
02-18 1007
建立完善的cephfs的扩容方案，满足cephfs用户数据存储空间在各种场景下的扩容需求。目前扩容只涉及到用户的数据存储，元数据部分因为空间使用率较低所以不需要考虑扩容。 现有cephfs用户存储模型 目前单个用户会对应一个ceph集群里面的多个Dir目录，每个Dir目录底层会关联到两个pool，其中metadata_pool用来存储元数据，data_pool用来存储数据。 单集群扩容方案 通过filelayout进行扩容 基本原理 每个文件都有filelayout的xattr属性，其中包含
Ceph介绍之RBD实现原理
热门推荐
shuningzhang的专栏
11-28 1万+
RBD是Ceph提供的块设备，本文将简要介绍一下其实现原理。 Ceph官方文档告诉我们Ceph本质上也是对象存储。而且了解到，Ceph的块存储其实在客户端也会被分为若干个对象进行处理。也即，对于Ceph集群，存储数据的格式就行对象。如下图所示，从镜像（块存储的呈现形式）的信息可以看出，块存储的组成及属性。 图 1 RBD镜像属性 创建存储池的镜像之后，在存储池中会有相关的对象数据
ceph stripe源码分析
最新发布
09-14
本文以CephFS的文件读取流程为例进行分析。 首先，在文件读取过程中，Ceph会将文件划分为若干个条带（stripe），每个条带由多个对象分片（stripe unit）组成。条带可以看作是逻辑上连续的一维地址空间。 接下来，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值