bandaoyu的note

全球将有80％的数据是非结构化的。文件协议是存取非结构化数据最普遍的使用方式，根据IDC统计，2019年度，中国的软件定义存储市场约60%是文件存储。传统文件系统有很多的限制：1、元数据和数据使用本地存储，无法横向扩展，不具备节点级高可用；2、受限于元数据的存储空间和性能，实际可保存的文件数有限，一般小于1亿，存储空间为TB级别；3、非统一命名空间，多个挂载目录之间无法互通，使用复杂；4、文件存储网关不可扩展，无法提升带宽，造成访问瓶颈；5、不支持大数据和容器等新业务。分

查看socketnetstat -lnxpunix STREAM LISTENING 84402953 2946130/rados /var/run/ceph/ceph-admin.2946130.94651089703712.asokunix STREAM LISTENING 336026461 2807156/rados /var/run/ceph/ceph-admin.2807156.94357368345376.asokunix STREAM LISTENING 186741342 .

什么是SPDKSPDK 存储性能开发套件(Storage Performance Development Kit ) —— 针对于支持nvme协议的SSD设备。 SPDK是一种高性能的解决方案。存储性能开发套件 （SPDK） 提供了一组工具和库，用于编写高性能、可扩展的用户模式存储应用程序。它通过使用一些关键技术实现高性能：将所有必要的驱动程序移动到用户空间，从而避免 syscalls，并允许从应用程序中访问零拷贝。 对硬件进行完成轮询，而不是依赖中断，这降低了总延迟和延迟方差。 避免

前言最近在做Ceph性能测试相关工作，在测试初期由于没有得到理想的测试结果，因此对Ceph集群进行了优化，但是一直有个问题萦绕在我的脑海：基于当前硬件配置，这个Ceph集群的极限是多少？由于这个问题和Ceph的配置息息相关，为了简化问题，在本文中我们只会会讨论3个变量：冗余策略（纠删码、多副本），读/写，ObjectStore。我们将会基于磁盘、网络、CPU性能来估算出一个集群的性能，除此以外的参数影响均归并到损耗系数μ这个变量。本文会分别解释写性能公式推演、读性能公式推演，并且在每个推演中加入冗余

目录google test简介入门例子进阶Gtest简介GoogleTest 是 Google 的 C++ 测试和模拟框架，是库，提供了一些API接口，用于测试你的程序。我们编写测试文件，里面调用GoogleTest的API 测试我们的函数。然后编译的时候把GoogleTest的库链接进来即可。入门例子编译环境中安装Gtest，既编译Gtest的源码编出Gtest的库gtest，放到链接目录下（供后面测试代码链接它和调用它的API）$ git clone ht.

systemctl 的用途 有时我们将自定义程序注册为systemd service 进程管理，交由系统管理，可以方便启动停止，亦可以实现服务异常退出重启，开机自启动。 减少自定义程序服务管理的时间消耗。用法1、新增配置文件a.service（添chmod +x a.service），按要求里面写start、stop等对应要执行的操作。2、配置文件放到/usr/lib/systemd/system文件夹下3、可以用systemctl管理执行了：systemctl ...

目录错误对照表：错误码对应宏根据错误码打印错误信息错误对照表：errno0 : Successerrno1 : Operation not permittederrno2 : No such file or directoryerrno3 : No such processerrno4 : Interrupted system callerrno5 : Input/output errorerrno6 : No s...

查看环境变量printenv或envcoreutils包中包含printenv和env。yum -y install coreutils设置临时环境变量export PATH="${PATH}:/root/testPath"export命令来设置临时环境变量，这个变量是只存在于设定环境变量的会话中，其它会话窗口是不会有该变量的，一旦会话结束或者会话退出，重新连接会话，该环境变量就不存在了设置环境变量永久的--针对具体的用户在 ~/profile、~/.bash_profi

问：libibverbs 中 fork() 支持的状态如何？是否仍然如下面的中描述：https://www.csm.ornl.gov/workshops/openshmem2014/documents/presentations_and_tutorials/Tutorials/Verbs%20programming%20t…https://www.csm.ornl.gov/workshops/openshmem2014/documents/presentations_and_tutorials...

什么是DAOSDAOS ( Distributed Asynchronous Object Storage，分布式异步对象存储 )是 对象存储容器。可为高性能计算应用提供高带宽、低延迟和高IOPS的存储容器，是英特尔构建百亿亿次级存储堆栈的基础。DAOS 与针对高性能储存的英特尔® 傲腾™ 技术;https://www.intel.cn/content/www/cn/zh/high-performance-computing/daos-high-performance-storage-.

代码基于ceph nautilus版本MDS关键概念想要理解MDS切换过程，首先需要理清一些基本概念。MDSMAP包含整个ceph集群的所有mds的状态信息:fs个数、fs名称、各mds状态、数据池、元数据池信息，等等 Contains the current MDS map epoch, when the map was created, and the last time it changed. It also contains the pool for storing metad

CephFS通过ceph-mds将文件系统元数据存储于metadata pool中,一般metadata pool实际生产环境中都建议用高性能ssd，加快元数据落盘以及加载至内存中性能。本篇介绍ceph-mds如何将元数据存入metadata pool中,以及通过cephfs-journal-tool如何查看相关journal信息。class MDLog () 类class MDLog () 管理整个journal模块,内存数据与journal模块通道，所有元数据操作都通过此类与journal相关.

1. OSD概念OSD：Object Storage Device，主要负责响应客户端请求返回具体数据的守护进程，一般一个集群会有多个OSD，每一块盘都会对应一个OSD。2. OSD 状态[root@data1 ~]# ceph osd stat4 osds: 3 up (since 23m), 3 in (since 13m); epoch: e345OSD状态说明：a. 集群内（in）b. 集群外（out）c. 活着且在运行（up）d. 挂了且不再运行（down）.

RDMA 架构与实践 | https://houmin.cc/posts/454a90d3/RDMA，即Remote Direct Memory Access，是一种绕过远程主机OS kernel访问其内存中数据的技术，概念源自于DMA技术。在 DMA 技术中，外部设备（PCIe 设备）能够绕过 CPU 直接访问host memory；而 RDMA 则是指外部设备能够绕过 CPU，不仅可以访问本地主机的内存，还能够访问另一台主机上的用户态内存。由于不经过操作系统，不仅节省了大量 CPU 资源...

一、OSD模块简介1.1 消息封装：在OSD上发送和接收信息。cluster_messenger -与其它OSDs和monitors沟通client_messenger －与客户端沟通1.2 消息调度：Dispatcher类，主要负责消息分类1.3 工作队列：1.3.1 OpWQ: 处理ops（从客户端）和sub ops（从其他的OSD）。运行在op_tp线程池。1.3.2 PeeringWQ: 处理peering任务，运行在op_tp线程池。1.3.3 CommandWQ

转自：ceph中的finisher类：https://blog.csdn.net/tiantao2012/article/details/79419556finisher 类是ceph中定义的专门检查操作是否结束的一个类。《Ceph源码分析》一书中的第2章，第2.4节Finisher，作者常涛，有讲到这个类。更多章节内容可以访问云栖社区“华章计算机”公众号查看。类Finisher用来完成回调函数Context的执行，其内部有一个FinisherThread线程来用于执行Context回调函数：.

HEAD 是一个指针，通常情况下，它指向当前所在分支，而分支又指向一个 commit 提交。HEAD 并不总指向一个分支，某些时候仅指向某个 commit 提交，这就形成 detached HEAD。切换到 detached HEAD 状态时，会有一个警告。提示我们可以任意的修改和提交，通过切换回分支时不影响任何分支的状态。在你没切走之前，可以创建一个新分支来保留所创建的提交，则可以通过在 switch 命令中使用 -c 来执行此操作：git switch -c <new bra

1、简介CTDB（Cluster Trivial Database,集群琐碎数据库）是一种轻量级的集群数据库实现，是集群Samba的集群数据库组件，主要用于处理Samba的跨节点消息以及在所有集群节点上实现分布式的TDB数据库。CTDB的主要功能：1） 提供TDB数据库的集群版本，并在节点故障时自动重建/恢复数据库；2） 监视集群中的节点和每个节点上运行的服务；3） 管理用于向客户端提供服务的公共IP地址池。或者，CTDB可与LVS一起使用；现今，CTDB不仅支持管理Samba，而且也