分布式存储(ceph)技能图谱（持续更新）

最新推荐文章于 2024-02-28 17:42:54 发布
最新推荐文章于 2024-02-28 17:42:54 发布
阅读量3k 收藏 46
点赞数 18
分类专栏： # 思维导图 分布式存储：ceph # linux操作系统：io系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z_Stand/article/details/103180624
版权

一下为个人结合其他人对分布式存储 所需的技能进行总结，绘制成如下图谱，方便针对性学习。
这里对分布式存储系统接触较多的是ceph,所以在分布式存储系统分支上偏向ceph的学习。
如有分类有问题或者分支不合理，欢迎大家批评指正，目的是为了大家共同提升

文章目录

分布式存储技能树

在这里插入图片描述

Linux操作系统

文件系统

在这里插入图片描述

I/O系统

I/O追踪

在这里插入图片描述

内存管理

Page Cache和Buffer Cache

在这里插入图片描述
参考文档：
https://zhuanlan.zhihu.com/p/42364591
https://zhuanlan.zhihu.com/p/32354613
《深入理解Linux 内核》

进程管理

进程间同步机制
多进程编程

在这里插入图片描述
无名管道PIPE
命名管道FIFO
POSIX共享内存
POSIX消息队列
POSIX信号量
SYS V共享内存
SYS V消息队列
SYS V信号量

共享内存

在这里插入图片描述
system V 共享内存 接口及命令使用
POSIX 共享内存 接口及命令使用

进程内存分布

在这里插入图片描述
linux 进程内存分布及 堆分配和栈分配的特点

进程状态

在这里插入图片描述

多线程管理

多线程编程

在这里插入图片描述
互斥变量
互斥对象
ptrhead相关接口
条件变量
future异步访问类
async类
promise类
package_task类

系统分析

性能分析

CPU
CPU上下文切换

在这里插入图片描述

CPU使用率

在这里插入图片描述

性能分析工具
systemtap

在这里插入图片描述
s-systemtap工具 基本使用 图谱详解

分布式存储系统

ceph

ceph核心理论
CEPH架构

在这里插入图片描述

PG

在这里插入图片描述
参考文档：
https://blog.csdn.net/Z_Stand/article/details/100082984
https://blog.csdn.net/skdkjzz/article/details/51579432
https://blog.csdn.net/skdkjzz/article/details/52852076
https://blog.csdn.net/liu3612162/article/details/79389088

RADOS(reliable autonomic distributed object storage system)
rocksdb

在这里插入图片描述

BlueStore

在这里插入图片描述
参考文档：
http://blog.wjin.org/posts/ceph-bluestore.html
BlueStore源码分析之事物状态机

CRUSH 算法

在这里插入图片描述

传统存储理论

机械磁盘(hdd)/ssd 基本工作原理

在这里插入图片描述
参考文档：
https://blog.csdn.net/yizhaoxin/article/details/53615740

分布式存储理论

quorum协议

在这里插入图片描述
参考文档：
https://www.cnblogs.com/charlist/p/7122237.html

编程基础

编程语言

C++

在这里插入图片描述

SHELL

在这里插入图片描述

算法

十大排序算法

在这里插入图片描述

网络知识

TCP协议

在这里插入图片描述
参考文档：
https://blog.csdn.net/qq_38950316/article/details/81087809

网卡的bond技术

在这里插入图片描述

z_stand
关注
  • 18
    点赞
  • 踩
  • 46
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ceph-知识导图
12-08
对Ceph介绍的知识导图，主要包括管理工具，支持的存储类型，冗余机制，Cache tiering，相关概念解释等
Ceph性能测试（RBD、CephFS、NFS、Cache Tier）
刘康的专栏
08-19 1万+
本文是以下两篇文章的后续： 探索fio参数如何选择以及全方位对比HDD和SSD性能：部署Ceph前测试磁盘性能，同时基于fio测试参数的变化深入了解fio原理和磁盘IO特点。 CentOS8使用cephadm部署和配置Ceph Octopus：在CentOS8上使用cephadmin进行Ceph Octopus版本的部署，以及RBD、CephFS、NFS、RGW等的配置。 准备工作 首先，单独准备一台测试节点，起一个CentOS8的虚拟机，配好地址和万兆网络。 确保网络带宽 使用iperf3工具测试.
CEPH分布式存储介绍与原理架构概述
eagle89的专栏
12-15 3862
一、Ceph 简介 Ceph 是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph 项目最早起源于 Sage 就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。 RedHat 及 OpenStack 都可与 Ceph 整合以支持虚拟机镜像的后端存储。 二、Ceph特点 高性能 a. 摒弃了传统的集中式存储元数据寻址的方案，采用 CRUSH 算法，数据分布均衡，并行度高。 b. 考
ceph性能调优
最新发布
u010948569的博客
02-28 488
ceph性能调优。
Ceph性能测试、优化及硬件选型详解|万字长文
NewTyun的博客
12-03 9199
一般基准测试原则基准测试的主要测试案例是：线性读写（大块，长队列），单位MB/sIOPS（每秒输入/输出操作数）中的小块（4-8kb，iodepth=32-128）的高度并行随机读写IO...
分布式存储ceph---ceph概念及原理（1）
qq_45255414的博客
11-04 549
一、Ceph简介： 　　Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 　　Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ce
HTML URL 编码转换表
热门推荐
逆风飞扬
05-14 8万+
<br />下面是用 URL 编码形式表示的 ASCII 字符（十六进制格式）。<br />十六进制格式用于在浏览器和插件中显示非标准的字母和字符。URL 编码 - 从 %00 到 %8fASCII ValueURL-encodeASCII ValueURL-encodeASCII ValueURL-encodeæ%000%30`%60 %011%31a%61 %022%32b%62 %033%33c%63 %044%34d%64 %055%35e%65 %066%36f%66 %077%37g%67bac
ceph分布式存储图解与基本概念
controllerha的博客
12-26 1536
关于存储需要了解的知识： 带宽：在同一时间点从网络中的某一点到另一点所能通过的最高数据率 可以想象成一个瓶子，瓶子有容量，还有瓶口，瓶口能够出水入水，那个瓶口就是带宽 磁盘纵向扩展与横向扩展 纵向扩展：相当于把瓶子换成一个更大的瓶子，一个瓶口，带宽没变 横向扩展：许多的小瓶子，很多瓶口，带宽变大 介绍 disk：存储盘，互相都是分离的个体 PG：是一
分布式存储Ceph存储系统RADOS
牧羊人的方向
02-19 4898
RADOS是Ceph最为关键的技术，它是一个完整的对象存储系统，所有存储在Ceph系统中的数据最终由这一层来存储。本文主要介绍RADOS的系统架构和IO处理流程，以了解Ceph存储的设计原理。
Ceph 集群基础
LCK 博客
08-07 1709
文章目录一、Ceph 集群角色二、Ceph 元数据保存方式2.1 xattrs(扩展属性)2.2 omap(object map 对象映射)2.2.1 filestore 与 leveldb 一、Ceph 集群角色 若干的 Ceph OSD（对象存储守护程序） 至少需要一个 Ceph Monitors 监视器（1,3,5,7...） 两个或以上的 Ceph 管理器 managers（mgr），运行 Ceph 文件系统客户端时，还需要高可用的 Ceph Metadata Server(文件系统元数据服务器
CEPH核心理论 相关导图（持续更新）
天行健，地势坤
01-05 851
围绕分布式存储(ceph)绘制的技能图谱可参考分布式存储ceph 技能图谱 相关的原始编辑文件可以从github-mindMapping下载 如有缺失、不足之处欢迎指正 CEPH架构 关于系统架构，这里主要是将CEPH融入操作系统架构之中 且是根据L版本进行绘制的 关于文件系统 ：因为bluestore跳过了本地文件系统，同时封装了自己的bluefs进行设备管理 关于cache: Bluesto...
ceph分布式存储
u010864567的博客
05-03 6272
分布式存储概述 数据分为元数据和数据 元数据即是文件的属性信息，元数据就是有一种路由机制，即当客户端或者应用程序产生的客户端数据被写入到分布式存储系统的时候，会有一个服务(NameNode)提供文件元数据的路由功能，即告诉应用程序去哪个服务器去请求文件内容，然后再有(DataNode)提供数据的读写请求及数据的高可用功能。 传统的分布式存 块存储：需要格式化，将文件保存到磁盘上 文件存储：提供数据存储的接口，是由操作系统针对块存储的应用，即由操作系统提供存储接口，应用程序通过调用操作系统将文件保
分布式存储Ceph技术及应用白皮书
10-16
分布式存储Ceph技术及应用白皮书
分布式存储Ceph架构与性能调优实践.pdf
10-13
分布式存储Ceph架构与性能调优实践.pdf
在CentOS7上安装与配置分布式存储Ceph
07-01
在CentOS7上安装与配置分布式存储Ceph。包括安装RHEL7操作系统并设置基础环境、CentOS7部署Ceph、Ceph的集群管理配置、管理Ceph块设备、管理CephFS设备、Ceph对象网关的安装配置、使用S3客户端访问对象存储、使用...
红帽分布式存储Ceph介绍.pdf
01-25
红帽分布式存储Ceph介绍.pdf
Ceph入门到精通-Ceph分布式存储解决方案汇总
隔壁老瓦的专栏
05-12 3310
注：针 IOPS 密集型场景，由于使用选择SSD与HDD混合硬件方案，硬件成本会降低，但是性能上由于是混合硬盘方案，bluestore带来的性能优化特性可能不会很明显，还需要考虑混合架构的优化。注：针 IOPS 密集型场景，全部基于SSD进行构建，保证性能最优的同时并充分发挥bluestore针对于SSD的特性优化，而且利于部署和后期集群的维护，且有效降低运维的难度。osd数据分区Ceph osd节点的密度也是影响集群性能、可用容量和TCO的一个重要因素，一般来说大量的小容量量节点比少量的大容量节点要好。
html %3cp%3e id,index.html
weixin_39722759的博客
06-14 6万+
oola项目uri启动测试img {width: 100%;height: auto;}// 初始化var vConsole = new VConsole();console.log('Hello world');var htmlSrc = "%3Cp%20class=%22MsoNormal%22%20style=%22text-indent:2em;%22%3E%0D%0A%09%E7%A7%...
实践: 分布式存储系统Ceph
06-10
Ceph是一个自由开源的分布式存储系统，它可以在普通硬件上实现高可靠性、高可扩展性和高性能的分布式存储服务。Ceph采用了分布式对象存储、块存储和文件存储三种存储方式，可以为不同的应用提供统一的存储服务，而且还支持动态扩容和自动数据平衡等特性。 Ceph的架构非常复杂，它由多个组件构成，包括Ceph OSD、Ceph Monitor、Ceph MDS、RADOS Gateway等。其中，Ceph OSD（Object Storage Daemon）是Ceph的核心组件，它负责存储和管理对象数据，支持数据复制、数据恢复、数据分布式存储等功能。Ceph Monitor是Ceph的管理节点，负责监控集群状态、配置管理和元数据管理等工作。Ceph MDS（Metadata Server）则是Ceph的文件存储组件，负责管理文件系统的元数据。RADOS Gateway是Ceph的对象存储组件，它提供了RESTful API，可以方便地访问Ceph集群中的对象数据。 Ceph的部署和配置需要一定的专业知识和经验，需要考虑到网络架构、硬件配置、数据分布等因素。不过，Ceph的可扩展性和高可靠性使得它成为了云计算和大数据应用中的重要存储解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值