ceph bluestore相关配置

最新推荐文章于 2023-07-06 13:39:45 发布

Law37

最新推荐文章于 2023-07-06 13:39:45 发布

阅读量6.4k

点赞数

文章标签： ceph

本文链接：https://blog.csdn.net/qq_30339341/article/details/78812687

版权

本文详细介绍了Ceph BlueStore的分区结构，包括block.wal、block.db和根分区的作用。此外，还讨论了相关配置参数，如bluestore_cache_size、bluestore_cache_meta_ratio等，以及校验类型、内联压缩的设置和使用。对于SSD和HDD，不同的配置参数有所不同，以优化存储性能。最后提到了SPDK在使用支持NVMe协议SSD时的配置方法。

摘要由CSDN通过智能技术生成

  bluestore 分区： 

  block.wal: 
 用于BlueStore的内部日志或写前日志 ssd 

 
 block.db:用于存储BlueStore的内部元数据,基于RocksDB实现，类似索引提高性能 ssd 

 
 根分区:1.一个小的分区使用XFS进行格式化，并包含OSD的基本元数据。这个数据目录包含关于OSD的信息(它的标识符，它属于哪个集群，以及它的私有密匙环)。 

 
 2.设备的其余部分通常是一个大的分区，它占用了由BlueStore直接管理的设备的其余部分，其中包含所有实际的数据。 

 
 顺序：wal>db>根 

 
 配置： 

 
 bluestore_cache_size 
  每个OSD为BlueStore的缓存所消耗的内存总量 默认为0 如果设置为0 ，hdd和ssd被使用 

 
 bluestore_cache_size_ssd 
   
 ssd占用内存量 默认1gb

 
 bluestore_cache_size_hdd  
 hdd占用内存量 默认3gb 

 
 bluestore_cache_meta_ratio 
  bluestore metadate缓存比率 默认0.01 

 
 bluestore_cache_kv_ratio 
  kv metadata缓存比率 默认0.99 

 
 bluestore_cache_kv_max  <

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Law37

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Ceph入门到精通-Ceph分布式存储解决方案汇总

隔壁老瓦的专栏

05-12

3756

注：针 IOPS 密集型场景，由于使用选择SSD与HDD混合硬件方案，硬件成本会降低，但是性能上由于是混合硬盘方案，bluestore带来的性能优化特性可能不会很明显，还需要考虑混合架构的优化。注：针 IOPS 密集型场景，全部基于SSD进行构建，保证性能最优的同时并充分发挥bluestore针对于SSD的特性优化，而且利于部署和后期集群的维护，且有效降低运维的难度。osd数据分区Ceph osd节点的密度也是影响集群性能、可用容量和TCO的一个重要因素，一般来说大量的小容量量节点比少量的大容量节点要好。

ceph bluestore中的磁盘空间管理

梦幻之巅

08-28

6311

ceph bluestore摒弃了传统的本地文件系统，而直接使用裸磁盘作为OSD的存储介质，因而需要自行管理磁盘空间的分配与回收概述一个设计良好的磁盘空间管理器，需要兼顾空间和时间效率；bluestore中提供了空间管理器FreelistManager来支持空间管理，当前提供了一种基于位图的实现，包含：位图持久化以及内存分配器Allocator两部分。其中，位图的持久化是指将空间分配（置1）和回收（置0）的位图状态持久化到磁盘中，基于rocksdb实现；内存分配器是磁盘位图的一致性视图，用来加速空间.

参与评论您还未登录，请先登录后发表或查看评论

Ceph：关于 Ceph 中 BlueStore 架构以及 OSD 创建的一些笔记

最新发布

山河已无恙

07-06

1906

ceph osd混合部署和普通部署

天行健，地势坤

03-30

1457

文章目录混合osd的部署先部署所有的ssd部署hdd普通OSD的部署当OSD被踢出集群但是挂载点还在，为osd添加id验证测试OSD压力Mark osd 为down 混合osd的部署先部署所有的ssd 在/etc/ceph.conf中最后添加ssd做osd的block大小如下：比如部署中有两个ssd，则添加 [osd.0] bluestore_block_size = xxxx [osd.1...

ceph-ansible安装指南-添加BlueStore

fq3758的博客

12-30

1019

ceph的资料真是很少，摸索一断时间，将整理的一资料和操作经验分享。1、配置需要添加的OSD节点的配置文件（如没有 host_vras文件夹，可自行创建）1、查看新增OSD节点的磁盘（本测试为三个data磁盘，三个DB磁盘，三个WAL磁盘）2、自行创建osd的配置文件（注意，lv&vg的名称都要写入）_vg: ceph-block-0 #vg的名称。当使用相同速度的设备，就不需要独立的逻辑卷用于。卷可以随时扩展，方便在后续维护中按需调整。一、新增OSD节点操作。4、查看所有创建的VG。

Ceph性能瓶颈分析与优化(混合盘篇)

流年似水的专栏

12-13

2334

ceph性能优化: 混合盘场景

ceph bluestore工作流程

lvlei19911108的博客

09-17

241

前一篇《ceph存储引擎bluestore解析》已经对bluestore整体架构和I/O映射逻辑进行了阐述，本文主要从bluestore的工作处理流程进行解析。1.整体流程图中展示了流程中的关键路径及涉及到的线程与队列。下面详细阐述工作流程。1.1 queue_transactionsqueue_transactions是store统一的入口，各个存储引擎如filestore、kvstor...

Ceph BlueStore Allocator

qq_23929673的博客

01-27

1216

文章目录疑问1：为什么有了FreelistManager还需要Allocator问题澄清Data StructureInitUsageBlueFSBlueStoreConfigSummary 疑问1：为什么有了FreelistManager还需要Allocator 问题澄清 1、BlueFS不用FreelistManager管理块设备空间的使用情况，而是将其持久化记录在文件系统的日志文件中 2、B...

Ceph BlueStore BlueFS

qq_23929673的博客

01-27

694

文章目录IntroductionData StructureBlueFS InitConfigMetricSummary Introduction BlueStore存储引擎实现中，需要存储数据和元数据。由于kv存储系统自身的高效性以及对事务的支持，所以选择kv存储元数据是理所当然的(对象的omap属性算作数据，也是存放在kv中的)。Luminous目前默认采用RocksDB来存储元数据(Rock...

Ceph集群升级，存储引擎改用了bluestore，创建wal&db分区,并创建OSD,指定wal&db使用分区作高速缓存

阿啄debugIT

06-16

3644

目录前言： DB WAL分区 wal & db 的大小问题创建wal & db分区创建OSD 其他前言： ceph集群分别有两个HDD和SSD存储池，一般来说，缓存层构建在昂贵/速度更快的SSD磁盘上，这样才能为客户提供更好的I/O性能。在缓存池后端通常是存储层，它由复制或者erasure类型的HDD组成。在这种类型的设置中，客户端将I/O请求提交到缓存池，不管它是一个读或写操作，它的请求都能够立即获得响应。速度更快的缓存层为客户端请求提供服务。一段时间后，缓存.

ceph配置文件

qq_23929673的博客

01-27

2450

#控制是否可以复用osd创建资源池。0、不支持复用，1、支持复用 $osd_reuse = 0; #系统剩余内存水线,单位：% $system_free_memory_limit = 60; #osd内存使用水线，单位：KB $osd_memory_limit = 2097152; #bluestore_cache_other使用水线,单位：byte $blu_cache_other_limit ...

鲲鹏平台Ceph环境搭建

kobe24fgy的博客

07-06

1590

目录一、软硬件配置1.软硬件信息2.组网结构3.网络配置信息4.硬盘划分信息二、配置Ceph本地源1.下载Ceph安装包2.配置本地源三、安装Ceph1.配置主机名2.安装时间服务四、安装bcache1.使能bcache2.安装bcache配置工具五、配置Ceph集群1.配置节点2.划分分区3.配置bcache4.配置osd、db、wal六、配置分布式块存储1.创建存储池2.创建块设备3.关闭不支持的块设备特性4.压力机配置七、配置分布式文件系统存储1.创建MDS2.创建cephfs存储池3.压力机配置八、

@ceph分布式存储应用接口（mds及rbd）

ଲ一笑奈@何

05-19

526

文章目录高层应用接口详解1）什么是块设备2）块设备的使用3）Ceph块设备接口的使用4）总结（块设备）二、文件存储接口1）Ceph的文件系统接口2）文件系统接口与块设备接口的区别3）Ceph的文件系统接口的使用三、对象存储接口1) 对象存储接口的使用2)块设备接口存储和文件系统接口存储与（对象存储）区别3）Ceph的对象存储接口的使用4）总结四、块存储接口rbd的写入1)块存储接口rbd的写入过程2）储备知识:常见的write cache种类3）RBD块存储缓存4）Cache tiering (缓存分层

Ceph BlueStore Cache

shuningzhang的专栏

05-23

1518

Author：Eric Source：http://blog.wjin.org/posts/ceph-bluestore-cache.html Declaration: this work is licensed under aCreative Commons Attribution-NonCommercial 4.0 International License. Introduction ...

ceph（luminous）-Bluestore,更换ssd和wal位置(不改变大小)

pyrl的博客

10-15

4883

简介随着业务的增长，osd中数据很多，如果db或者wal设备需要更换，删除osd并且新建osd会引发大量迁移。本文主要介绍需要更换db或者wal设备时（可能由于需要更换其他速度更快的ssd；可能时这个db的部分分区损坏，但是db或者wal分区完好，所以需要更换），如何只更换db或者wal设备，减少数据迁移(不允许db或者wal设备容量变大或者变小). 具体步骤如下: 设置osd noout ...

【北亚数据恢复】什么是Ceph？Ceph数据恢复研究

beiya123的博客

03-22

967

Ceph存储基本架构： Ceph存储根据其类型，可分为块存储，对象存储和文件存储。Ceph基于对象存储，对外提供三种存储接口，故称为统一存储。 Ceph的底层是RADOS(分布式对象存储系统)，RADOS系统主要由两部分组成，分别是OSD和MON。 MON负责监控整个集群，维护集群的健康状态，维护展示集群状态的各种图表，如OSDMap、MonitorMap、PGMap和CRUSHMap。 OSD则用于存储数据、复制数据、平衡数据、恢复数据，以及与其它OSD间进行心跳检查等。一般情况下一块硬...

bluestore使用的cache

jason的笔记

05-03

1924

bluestore 自己管理裸设备为了提高性能自己也建立了cache BlueStore::Cache *BlueStore::Cache::create(CephContext* cct, string type, PerfCounters *logger) { Cache *c = nullptr; if (type == "lru") c = new LR...

Ceph存储引擎bluestore简介

Be_Nice的博客

06-22

3371

【背景】 ceph后端支持多种存储引擎，以插件的方式进行管理和使用，默认使用filestore，如ext4、btrfs，xfs。理论上每个文件系统都实现了POSIX协议，但是每个文件系统都会有那么一些不标准的地方。主要存在以下几个方面： 1.Ceph的实现非常注重可靠性，因而需要为每种文件系统引入不同的Walkaround或者Hack；例如Rename不幂等性，等等。这些工作为Ceph的不断开发带来了很大负担。 2.FileStore构建与Linux文件系统之上。POSIX提供了非常强大的功能，但..

ceph的BlueStore中_open_db的分析

12-07

1440

代码中经常看到的read_meta和write_meta，实际读取和写入的地址是/var/lib/ceph/osd/ceph-x/里面的block文件。 /var/lib/ceph/osd/ceph-0/里面包含的文件有block, block.db, block.wal, ceph_fsid, fsid, keyring, ready, type, whoami,其中block，block.d...

Ceph BlueStore：革新分布式文件系统的关键存储后端

Ceph分布式文件系统是一个革命性的存储解决方案，它长期...Ceph的BlueStore后端不仅解决了传统分布式文件系统面临的问题，还展示了分布式存储系统在设计上的创新，预示了未来存储架构朝着更加灵活、高效的方向发展。