CephFS 异常测试

最新推荐文章于 2023-04-11 20:36:25 发布
最新推荐文章于 2023-04-11 20:36:25 发布
阅读量477 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44389885/article/details/101478605
版权

1. Cephfs 异常测试方案

CephFS允许客户端缓存metadata 30s，所以这里测试对MDS stop/start的时间间隔取为：2s，10s，60s。

测试组件测试场景挂载方式测试方法
MDS单MDSfuse/kernel单个MDS挂掉情况 2s/10s/60s IO情况
主从MDS时fuse/kernel单主挂掉情况 2s/10s/60s IO情况
主从MDS时fuse/kernel主从同时挂掉情况 2s/10s/60s IO情况
MON单个MONfuse/kernel单个MON挂掉情况 2s/10s/60s IO情况
所有MONfuse/kernel所有MON挂掉情况 2s/10s/60s IO情况
OSD单个OSDfuse/kernel单个OSD挂掉情况 2s/10s/60s IO情况
集群一半OSDfuse/kernel一半OSD挂掉情况 2s/10s/60s IO情况
集群所有OSD挂掉fuse/kernel所有OSD挂掉情况 2s/10s/60s IO情况

2. 测试环境

  • mon： ceph-xxx-osd01.ys, ceph-xxx-osd02.ys, ceph-xxx-osd03.ys
  • osd： ceph-xxx-osd01.ys, ceph-xxx-osd02.ys, ceph-xxx-osd03.ys
  • mds： ceph-xxx-osd04.ys, ceph-xxx-osd05.ys

3. 测试工具

fio

fio也是我们性能测试中常用的一个工具，详细介绍Google之。

我们测试中固定配置：
-filename=tstfile 指定测试文件的name
-size=20G 指定测试文件的size为20G
-direct=1 指定测试IO为DIRECT IO
-thread 指定使用thread模式
-name=fio-tst-name 指定job name

测试bandwidth时：
-ioengine=libaio/sync
-bs=512k/1M/4M/16M
-rw=write/read
-iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

测试iops时：
-ioengine=libaio
-bs=4k
-runtime=300
-rw=randwrite/randread
-iodepth=64 -iodepth_batch=1 -iodepth_batch_complete=1

4. 测试步骤

4.1 MDS

4.1.1 单MDS挂掉

不需要测试，目前都是主从结构。

4.1.2 主从MDS主挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.1.3 结论

挂载方式写入方式故障描述
fuse单个文件停掉主MDS, io会出现稍微的抖动
多个文件停掉主MDS,会发生1-2秒的io夯住
kernel单个文件停掉主MDS, io会出现稍微的抖动
多个文件停掉主MDS,会发生1-2秒的io夯住

单个文件：

2099201-b5f7a0431d4e73be.png
image.png

4.1.4 主从MDS都挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8
 
#18:19:24 fio
#18:19:28 sh mdsstop.sh

4.1.5 结论：

挂载方式写入方式故障描述
fuse单个文件停掉主从MDS,40s左右io夯死
多个文件停掉主从MDS, io立马夯死
kernel单个文件停掉主从MDS,40s左右io夯死
多个文件停掉主从MDS, io立马夯死

单个文件模式：

2099201-d61d5b8fe18ea85f.png
image.png

4.2 MON

4.2.1 单个MON挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.2.2 结论

挂载方式写入方式故障描述
fuse单个文件停掉单个MON，客户端写入无影响.
多个文件停掉单个MON，客户端写入无影响.
kernel单个文件停掉单个MON，客户端写入无影响.
多个文件停掉单个MON，客户端写入无影响.

4.2.3 所有MON挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.2.4 结论

挂载方式写入方式故障描述
fuse单个文件所有的MON都挂掉,会在60秒左右IO夯死
多个文件所有的MON挂掉,会在挂掉后立刻IO夯死
kernel单个文件所有的MON都挂掉,会在60秒左右IO夯死
多个文件所有的MON挂掉，会在挂掉后10秒左右IO夯死.

单个文件模式(内核模式)：

2099201-3c32ba07c96d4621.png
image.png

单个文件模式(fuse模式)：

2099201-7a71576adc5120d7.png
image.png

4.3 OSD

4.3.1 单个OSD挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.3.2 结论

挂载方式写入方式故障描述
fuse单个文件停掉一个osd，MDS客户端的写入无影响
多个文件停掉一个osd，MDS客户端的写入无影响.
kernel单个文件停掉一个osd，MDS客户端的写入无影响
多个文件停掉一个osd，MDS客户端的写入无影响.

4.3.3 集群一半OSD挂掉

#测试多个文件
#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.3.4 结论

挂载方式写入方式故障描述
fuse单个文件集群2/3 的osd 挂掉,MDS客户端立刻会夯死.
多个文件集群2/3 的osd 挂掉,MDS客户端立刻会夯死.
kernel单个文件集群2/3 的osd 挂掉,MDS客户端立刻会夯死.
多个文件集群2/3 的osd 挂掉,MDS客户端立刻会夯死.

4.3.5 集群所有OSD挂掉


#!/bin/bash
while true
do
  curtime=`date --date='0 days ago' +%s`
  fio -filename=/test/$curtime -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=libaio -bs=4m -size=20G -runtime=1 -group_reporting -name=mytest
done
 
#测试单个文件
fio -filename-testfile -size=20G -direct=1 -thread -name=/test/fio-test-name -ioengine=libaio -bs=512k/1M/4M/16M -rw=rw  -write_bw_log=rw -iodepth=64 -iodepth_batch=8 -iodepth_batch_complete=8

4.3.6 结论

挂载方式写入方式故障描述
fuse单个文件集群所有的osd 挂掉,MDS客户端会立刻夯死
多个文件集群所有的osd 挂掉,MDS客户端会立刻夯死.
kernel单个文件集群所有的osd 挂掉,MDS客户端会立刻夯死
多个文件集群所有 的osd 挂掉,MDS客户端立刻会夯死.
Lucien168
关注
Cephfs架构解读和测试分析
10-26
Cephfs架构解读与测试分析主要内容如下： 1. Cephfs简介 Cephfs是Ceph存储系统提供的一个分布式文件系统，它兼容POSIX协议，允许用户以标准文件系统的方式存取数据。与Ceph的其他组件RBD（块存储）和RGW（对象存储...
【ceph】CEPHFS 内部实现（一）：概念篇--未消化
bandaoyu的note
06-25 579
CephFS致力于提供POSIX兼容的文件系统接口，为了实现这一目标，CephFS选择了以目录树的形式在内存管理和使用元数据信息。和S3的“伪目录”做对比，这种目录树的方式能更高效、直接地实现POSIX语义。 CephFS作为分布式文件系统，面临所有分布式系统都要着力解决的两个问题：海量数据，单点。面对海量元数据，单机内存容量显然无法满足要求，对此CephFS提供了多个Active MDS机制，将目录树划分成不同区域，分别在不同MDS上管理，MDS在检测到对端MDS故障后，能对故障MDS进行接管，解决单点问
【分析】Ceph源码目录结构分析
渡江客涂鸦板
06-26 4106
来源http://blog.csdn.net/scaleqiao/article/details/511655751简介该代码架构基于版本10.0.5整理，先整理根目录里的代码，再整理出src目录的架构。2代码结构2.1根目录Ceph的根目录下包含了一些文件夹和若干编译、代码格式相关的文件。[admin]：架设Document服务器，包括依赖内容并介绍修改doc的流程。[bin]...
Ceph性能测试（RBD、CephFS、NFS、Cache Tier）
热门推荐
刘康的专栏
08-19 1万+
本文是以下两篇文章的后续： 探索fio参数如何选择以及全方位对比HDD和SSD性能：部署Ceph前测试磁盘性能，同时基于fio测试参数的变化深入了解fio原理和磁盘IO特点。 CentOS8使用cephadm部署和配置Ceph Octopus：在CentOS8上使用cephadmin进行Ceph Octopus版本的部署，以及RBD、CephFS、NFS、RGW等的配置。 准备工作 首先，单独准备一台测试节点，起一个CentOS8的虚拟机，配好地址和万兆网络。 确保网络带宽 使用iperf3工具测试.
一次CephFS性能分析
Moolight_shadow的专栏
08-18 1206
一次CephFS性能分析 1. 背景 2. 性能分析思路 2.1. 理论值计算 2.2. 实际操作下看能不能复现 2.2.1. 性能分析关注点 2.2.2. 开始分析 2.2.2.1. ceph -s 2.2.2.2. 查看mds服务 2.2.2.3. 查看ceph osd perf 2.2.2.4. 查看磁盘iostat 2.2.2.5. 网络 2.2.2.6. 客户端磁盘 3. 总结 1. 背景 小明在使用文件系统的过程中发现上传一个文件夹花了半个小时，下载一个文件夹要花更长的
Ceph文件系统FS性能测试
weixin_34384557的博客
04-25 1016
2019独角兽企业重金招聘Python工程师标准>>> ...
cephfs工程实践文档
10-10
通过上述测试，可以了解CephFS在大型生产环境下的表现如何，包括了性能、稳定性以及可能出现的异常情况。通过这些工程实践，我们可以更加深入地理解CephFS的使用和优化方法，进而提升整个分布式文件系统的性能和可靠...
cephfs修复.docx
10-16
"cephfs修复" cephfs修复是指在ceph文件系统崩溃或掉电后，无法访问文件系统时的修复方法。下面是cephfs修复的知识点： 1. MDS（Metadata Server）是在cephfs中管理文件元数据的组件。它负责管理文件的命名空间、...
docker-cephfs-nginx:容器中 CephFS 的 httpnginx 前端
07-16
从 Dockerfile 构建： docker docker build -t mbessler/cephfs-nginx . 跑步： docker run -d --rm --...
ceph-csi：用于Ceph的CSI驱动程序
02-03
此包含用于供应商，附加程序，调整程序，驱动程序注册器和快照程序的RBD，CephFS和kubernetes sidecar部署Yaml的Ceph驱动程序，用于支持CSI功能。 总览 Ceph CSI插件实现了启用CSI的Container Orchestrator（CO）和...
ceph故障诊断与排错
07-25
CEPH存储峰会PPT，讲解软件定义存储CEPH的常见性能故障解决办法。
Ceph故障处理（一）-health_warn：clock skew detected on mon
小楼一夜听春雨，深巷明朝卖杏花
04-24 2146
造成集群状态health_warn：clock skew detected on mon节点的原因有两个，一个是mon节点上ntp服务器未启动，另一个是ceph设置的mon的时间偏差阈值比较小。 排查时也应遵循先第一个原因，后第二个原因的方式。 1、确认ntp服务是否正常工作 $ systemctl status ntpd 如果没有安装ntpd，可以参照以下文章进行安装，传送门：Centos7 搭建NTP服务器及客户端同步时间 2、修改ceph配置中的时间偏差阈值 在deploy节点修改配置文
CephFS功能测试
kaiser king的博客
08-10 689
CephFS功能测试1. mds部署2. 创建CephFS3. 在测试节点mount上CephFS4. 查看CephFS状态5. CephFS功能测试5.1 创建测试dir和file5.2 测试file的读写5.3 测试file的chmod5.4 测试file的chown5.5 测试file的symlink5.6 删除测试dir和file6. 删除CephFS6.1 停止ceph mds服务6.2 删除cephfs6.3 删除cephfs使用的pool 1. mds部署 使用ceph-deploy部署cep
记一次Cephfs客户端读写大文件卡死问题解决
业精于勤，荒于嬉；行成于思，毁于随
03-08 3384
环境 集群版本：12.2.10 集群启动了个MDS，其中三个active 一个standby 客户端内核3.10，使用ceph-fuse 12.2.10进行挂载使用，挂载到客户机/data1/test目录下使用 情况 往/data1/test中cp小文件无异常，但是使用中cp一个3GB大小的文件时候，发现cp运行了一会就卡死了，CTRL+C和kill都无法杀死cp进程。这个时候在其他机器上挂载该路...
ceph mds dmaged造成cephfs崩掉的灾难性恢复
lyf0327的博客
03-20 5716
**问题：**未知原因，有可能是服务器搬离机柜造成的。也有可能是osd crash出错，数据丢失，cephfs无法提供服务，经查，是没有active的mds了，所有的mds都是standby状态，并且有两个是dmaged的状态。 [root@node83 .ceph-cluster]# ceph health detail HEALTH_ERR 2 filesystems are degraded...
记录一次cephfs内核客户端死锁问题定位过程
HHFQ的博客
02-19 1702
记录一次cephfs内核客户端死锁问题定位过程 原文地址：https://zhuanlan.zhihu.com/p/375464867 一、 问题背景 Ceph是一款开源分布式存储系统，其具有丰富的功能和高可靠、高扩展性，并且提供统一存储服务，可以同时提供文件、对象、块服务。随着集群规模和业务量的增大，在使用文件的过程中遇到文件系统内核客户端死锁的问题，本文将详细介绍问题的定位过程和解决方案。 二、架构介绍 为了更好的阐述问题，先简单的介绍一下文件系统的整体架构，架构如下 图1 系统架构图 从图中可以看出
Ceph常见问题
最新发布
任我行的博客
04-11 3005
进一步查看Pod的资源定义，可以看到负责创建的脚本/opt/ceph/ceph-storage-key.sh挂载自ConfigMap ceph-bin中的ceph-storage-key.sh。可以看到牵涉到两个Secret：pvc-ceph-conf-combined-storageclass、pvc-ceph-client-key，你需要把正确的Keyring内容写入其中。对于ID为14的OSD，将宿主机/var/lib/ceph/osd/ceph-14/keyring的内容替换为。
CephFS性能基准测试与集群优化 | 万字总结
NewTyun的博客
09-16 1735
新钛云服已为您服务1256天本次测试的目的是通过使用 INTEL SSD PEYKX040T8 NVMe 驱动器从而在 Ceph 集群（特别是 CephFS）中实现最大的性能。同时为了保证...
ceph存储 磁盘IOPS常识
skdkjxy的专栏
02-27 5153
计算磁盘IOPS的三个因素：   1、RAID类型的读写比   不同RAID类型的IOPS计算公式： RAID类型 公式 RAID5、RAID3 Drive IOPS=Read IOPS + 4*Write IOPS RAID6 Drive IOPS=Read IOPS +  6*Write IOPS
CephFS架构详解与深度测试策略
CephFS架构解读与测试分析深入探讨了Ceph分布式存储系统中的关键组成部分，特别是其作为兼容POSIX协议的文件系统的重要性。相较于RBD和RGW，CephFS是较晚实现生产准备就绪的功能，但其底层依旧基于高效的数据存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值