linux/unix
文章平均质量分 67
strayeagle
这个作者很懒,什么都没留下…
展开
-
因存在多文件系统导致OSD启用失败
今天在创建OSD并启用它的时候,出现了如下一个错误:shellraise e。原创 2024-09-19 10:02:19 · 232 阅读 · 0 评论 -
mds damaged test script
本文章著作权归作者所有,任何形式的转载都请注明出处。来源: Transcendent。文章作者: Gavin Wang。原创 2024-09-19 10:01:44 · 351 阅读 · 0 评论 -
热插拔设备
测试中碰到破坏RAID或下线磁盘的场景,需要从设备上拔盘,然后等产品侦测到对应Disk或VD异常后,再插回去,验证程序侦测及时性是否存在问题。由于要频繁的进出机房进行设备的拔出与插回操作,比较麻烦,是否有更便捷的方式进行操作呢?本文介绍同事推荐的,在有热交换驱动器情况下,通过scsi热插拔指令(scsi remove-single-device,scsi add-single-device),移除和回插某块设备。原创 2024-09-19 10:01:11 · 454 阅读 · 0 评论 -
获取系统中所有的pid
Linux进程的pid,会在/proc目录下产生对应pid目录,如果想获取当前系统所有的pid,可以到此目录下去找。本文介绍几种方法,获取到所有的pid。原创 2024-09-19 10:00:38 · 212 阅读 · 0 评论 -
利用oceanfile批量构造文件并统计cephfs速度
前段时间RD优化了rocksdb,S3的性能有显著提升,在此基础上,利用RD自研工具验证cepfhs 写速度,每间隔5million个文件进行一次写速度的统计。原创 2024-09-19 10:00:04 · 296 阅读 · 0 评论 -
awk引用shell中变量
在网上找了一个统计pool下pg分布的脚本,拿来使用了一下,发现可以在ceph J版上执行,在L版报错,原脚本内容参考如下:shellwhile($col!i=0;RSTART=0;RLENGTH=0;END {sum=0;}'本文讲述awk如何引用shell变量,来解决上面这个脚本对我们产品的兼容问题。原创 2024-09-19 09:59:28 · 216 阅读 · 0 评论 -
shell随机数生成的几种方法
今天验证在对存储不断灌S3 10K小对象数据情况下,对设备强制断电,观察是否引发ceph-osd crash问题,简易写了个临时命令完成检查操作,如下:shellsleep 300;done另外一个临时check脚本参考如下:shell/bin/bashi=1doif [[ $?-eq 0 ]];then!exit 1elselet i+=1fidone这里使用到了随机数,本文介绍shell几种生成随机数的方法。原创 2024-09-19 09:58:49 · 1116 阅读 · 0 评论 -
wc统计为何少了一行
使用wc统计文件时,发现文件数量总是少一行,原因何在?原创 2024-09-19 09:54:21 · 363 阅读 · 0 评论 -
快速获取Lab中哪些IPMI IP地址被使用
Lab里有一大批设备,每个设备都配置了IPMI地址,虽然Office提供了一个在线的excel供大家编辑,但未必每个人都会定期去更新它(因为设备偶尔有进有出),时间久了就会发现excel记录太旧了。本文不是介绍如何定期更新excel,而是如何快速获取哪些IPMI地址在使用。原创 2024-09-19 09:53:04 · 323 阅读 · 0 评论 -
频繁启用&停用ES服务,出现local-fs.target failed with result dependency
Ubuntu16.04,产品新增了Elasticsearch功能,在测试ES服务启用过程冲,选择240G 的Intel S4510 型号的SSD一块作为ES的data:shell在频繁测试ES服务启&停过程中,发现有个node上的众多服务接收到终止信号(15),而且复现几率非常的高,此时ipmi console出现如下信息:执行systemctl --failed,信息如下:使用 ‘journalctl -xb’,dump的信息中,未找到问题发生的原因,只有类似如下的片断信息:shell----原创 2024-09-19 09:52:38 · 1198 阅读 · 0 评论 -
ceph S3 多租户
在J版之前,同一个ceph集群中不允许有同名的bucket和S3账号的存在,从J版本开始,引入multi-tenancy功能,使得不同tenant(租户)下的账号和bucket可以同名,为了兼容J之前的版本,提供了一名为空的“legacy” 租户,如果没有指定tenant,则从这个“legacy” tenant去获取账号/bucket信息。本文所示的多租户,解决了如下问题:实现同集群中创建同名bucket和S3账号,即实现租户的数据隔离。原创 2024-09-19 09:48:10 · 886 阅读 · 0 评论 -
API响应慢问题复现
现在测试有个需求,需要验证某个API响应时间,之所以关注这个API时间,是因为有时响应太久,超过30s,估计这个时间客户也无法容忍。原创 2024-09-18 09:22:07 · 417 阅读 · 0 评论 -
shell计算精度
为何要写这篇文章,因为在上篇文章有使用shell去尝试统计ES的写入速度,需要精确到毫秒级别的时间差,但是尝试了expr,let,发现不行,而是awk却可以,所以本文汇总一下,以bash为例,shell中的计算精度问题。原创 2024-09-18 09:21:23 · 698 阅读 · 0 评论 -
VD与RAID分区对应关系
环境中创建了VD,lsblk可以看到创建好后的分区信息,如何获取分区与RAID VD之间的对应关系呢,比如/dev/sdc分区,对应RAID组哪个VD?原创 2024-09-18 09:20:52 · 441 阅读 · 0 评论 -
脚本统计ES写入速度
本文介绍下如何call API的方式去统计ES的写速度,当然,你可以使用监控工具去统计,不在本文描述范围。原创 2024-09-18 09:19:06 · 420 阅读 · 0 评论 -
VD与RAID分区对应关系
环境中创建了VD,lsblk可以看到创建好后的分区信息,如何获取分区与RAID VD之间的对应关系呢,比如/dev/sdc分区,对应RAID组哪个VD?原创 2024-09-18 09:16:07 · 163 阅读 · 0 评论 -
统计cosbench写速度
BTW,今天是24节气的芒种,因新型冠状病毒疫情影响,高考延后了1个月。言归正传,测试任务要求如下:需要知道当前集群,单一bucket中,存放1000万object,存放2000万object,存放3000万object,。。。。一直到存放110million个object,即每间隔存放1000万笔记录情况下,RGW性能是否伴随单一bucket中object数量的增加,写性能存在下降状况?原创 2024-09-18 09:13:51 · 755 阅读 · 0 评论 -
gzip vs bzip2 vs xz vs pbzip2 性能对比
两天前,简单写了篇bzip2 与 pbzip2 压缩哪个更快,当时是处于使用esrally压测Elastic search性能,并没有太多的关注几种压缩工具的性能如何。本文介绍常用的几种压缩命令,分别汇总出各个命令的压缩&解压缩全方面性能对比。原创 2024-09-18 09:12:45 · 1110 阅读 · 0 评论 -
bzip2 vs pbzip2 性能对比
近期使用esrally进行Elastic Search性能压测,使用script产生了原始数据,这些原始数据需要被压缩成bz2格式,如果原文件大小很大,压缩起来就非常耗时。本文介绍几种bzip2压缩操作,观察耗时情况。原创 2024-09-18 09:11:13 · 209 阅读 · 0 评论 -
Cosbench wirte speed scenario test script
本文章著作权归作者所有,任何形式的转载都请注明出处。来源: Transcendent。文章作者: Gavin Wang。原创 2024-09-18 09:10:14 · 453 阅读 · 0 评论 -
Linux下统计行数性能对比
这次使用esrally进行elastic search性能测试,构造了产品自己生成的索引所需要的数据,由于数据比较大,行数有700million+,统计行数碰到了问题,主要是时间问题,统计太耗时,所以,想知道哪个统计效率更高。本文介绍几种方法,以100million行数的文件,在Linux下统计文件行数,对比下统计性能如何。由于被统计的文件的数据结构不一样,上述命令统计出来的性能也会有一些差异。本文示例的文档,统计效果比较好的方法是:wc -l 优于 cat 优于 sed 优于 awk 优于 grep。原创 2024-09-18 09:09:30 · 243 阅读 · 0 评论 -
Linux开机启动,进入welcome to emergency mode
Ubuntu 18.04系统, 执行reboot -f后,网络不通,通过IPMI console查看,发现出现 ‘welcome to emergency mode!’,详细信息如下图所示:shell。原创 2024-09-18 09:08:27 · 271 阅读 · 0 评论 -
控制keepalive VIP漂移范围
产品有配置keepalive功能,但该功能目前仅通过priority来控制VIP在不同节点间漂移,此处的不同节点,是集群内部的所有节点。我们先看看下各个节点(以3节点为例),keepalive.conf内容信息,参考如下:== node243shellpriority 3bond112.7.3.89== node244shellpriority 2bond112.7.3.89== node245shellpriority 1bond112.7.3.89。原创 2024-09-18 09:07:49 · 344 阅读 · 0 评论 -
Megacli详解
通常,我们使用的DELL/HP/IBM三家的机架式PC级服务器阵列卡是从LSI的卡OEM出来的,DELL和IBM两家的阵列卡原生程度较高, 没有做太多封装,可以用原厂提供的阵列卡管理工具进行监控;而HP的阵列卡一般都做过封装了,因此需要使用自身特有的管理工具来监控。本文以几种常用的阵列卡为例,展示其阵列卡及硬盘监控的方法。DELL SAS 6/iR卡,全称LSI Logic SAS1068E,只支持RAID 0, RAID 1, RAID 1+0, 不支持RAID 5等高级RAID特性,不支持阵列卡电池。原创 2024-09-14 18:10:58 · 1492 阅读 · 0 评论 -
更改pip&easy_install默认安装源
pip默认安装源来自国外,很多时候由于墙的原因,导致下载很慢,或者超时,为了解决这个问题,尝试修改了pip默认安装源(具体操作下文介绍)。但在更改默认源后,如果被安装的包有依赖,需要先安装依赖的包,但这个依赖包还是使用的默认源。本文介绍如何解决这些问题。说明:本文以Ubuntu OS为例进行文档描述。原创 2024-09-14 18:10:10 · 913 阅读 · 0 评论 -
利用gparted扩展根分区
lab有一套Jenkins环境,是一台VM环境,最初安装系统的时候,整个系统分区只有20G的容量,后来发现这个容量实在太小,经常因根分区满导致jenkins任务没法正常执行。后台通过VMware vSphere Client扩大了这个分区空间(扩大到60G):shell但这多出的40G,如何分配给根/分区呢?原创 2024-09-14 18:05:20 · 1007 阅读 · 0 评论 -
获取SSD寿命
SSD虽然不是机械盘,但上面的晶元伴随着数据的擦写,导致晶元厚度越来越薄,当晶元厚度薄到一定程度时,意味着SSD寿命已尽,对于存储产品,更迫切的需要知道当前集群里使用的SSD,其寿命还有多少。目前lab里常见的SSD,型号有S4610,S3700和NVME的,NVME的是PCI-e类型的,但intelS4600,S4610,S7300之类型号的SSD,有的设备是在RAID卡上,但有的设备上又不在RAID卡上。如何确定这些NVME,在RAID卡和不在RAID卡上的SSD的剩余寿命呢?原创 2024-09-14 18:04:45 · 1095 阅读 · 0 评论 -
利用modinfo查看kernel使用的driver版本
Linux modinfo命令用于显示kernel模块的信息,确切讲,会显示kernel模块的对象文件,以及显示该模块的相关信息。原创 2024-09-14 18:04:05 · 315 阅读 · 0 评论 -
三种方式修改CentOS hostname
在CentOS7中,有三种定义的主机名:静态的(static)、瞬态的(transient)、灵活的(pretty)。“静态”主机名也称为内核主机名,是系统在启动时从/etc/hostname自动初始化的主机名。“瞬态”主机名是在系统运行时临时分配的主机名,例如,通过DHCP或mDNS服务器分配。此时,屏幕出现“设定主机名”选项卡,输入需要设定的主机名,通过键盘方向键将光标移动到“确定”处,回车键确定即可完成主机名的修改。将光标通过键盘的上下键移动到“设定系统主机名”菜单处,按下回车键。原创 2024-09-14 18:03:29 · 349 阅读 · 0 评论 -
解决因RAID卡提示VD有cache而无法创建RAID问题
单盘组的RAID0做的OSD,设备上直接把这块盘拔掉,然后重新插回去,本想看看重做RAID0后,UI rescan or reformat OSD是否OK的,结果在重做RAID0期间碰到了本文的问题,记录一下。原创 2024-09-13 09:53:15 · 358 阅读 · 0 评论 -
统计cosbench每个任务的IOPS和耗时
近期针对前方客户提出的具体S3测试要求,测试了一下S3性能,使用的是cosbench工具。在测试过程中,排除客户的要求外,我们自身也想知道,当前硬件条件下,每间隔1,000,00,00个object,IOPS和耗时是多久,比如:1到1千万,1千万到2千万,。。。1亿到1.1亿个object, and so on。原创 2024-09-13 09:51:58 · 178 阅读 · 0 评论 -
魔法键重启Linux机器
本文介绍魔法键重启Linux机器, very magical.rebootreboot -fpoweroff说明:如果上面的指令,在机器重启、关机期间卡住了,怎么办?看下面ipmi指令。是 Linux 系统中的一个特殊文件,它允许用户通过向其中写入特定的字符来触发紧急系统请求(也称为 “SysRq” 功能)。这个特性通常用于系统管理员在系统崩溃或无法正常响应时进行紧急操作。以下是对。原创 2024-09-13 09:51:25 · 532 阅读 · 0 评论 -
将megaraid卡磁盘改为JBOD模式
目前lab里HDD基本上都是通过LSI RAID卡做RAID来使用,但有些时候也想测试单盘,但不想做RAID0,于是需要启用JBOD模式来识别每一块单盘。megaraid 卡使用 JBOD 模式,磁盘可以直接被系统识别,使用 smartctl 查看 SMART 信息(参数查看做过RAID磁盘的 SMART 信息)和 直连 SAS 卡一样。如果 LSI megaraid 卡没有启用JBOD模式,磁盘必须做RAID操作,才能被系统识别到。没有启动JBOD模式,没法使用megacli设置磁盘为JBOD。原创 2024-09-13 09:49:37 · 411 阅读 · 0 评论 -
谁在使用Linux SWAP
本文概述Linux SWAP 有哪些进程在使用,以及如何关闭/开启SWAP。原创 2024-09-13 09:49:06 · 339 阅读 · 0 评论 -
开启kernel debug
有时候需要查看更详细的kernel堆栈信息,本文介绍如何开启kernel debug。原创 2024-09-13 09:47:17 · 167 阅读 · 0 评论 -
perf检查ceph-osd CPU使用率高问题
今天早晨 QA 发现 LAB里的一套集群环境里,124~128集群里面,128节点ceph-osd cpu load重,CPU使用率是 200%~400% 之间。我用strace 粗略地看了下,没看出什么端倪。只能上perf了。原创 2024-09-13 09:45:54 · 582 阅读 · 0 评论 -
ESXi常用命令
本文摘抄ESXi的一些基本命令范例, mark下来备用。原创 2024-09-12 15:29:55 · 495 阅读 · 0 评论 -
重置ESXi root密码
其他人创建的环境,碰到ESXi root密码无人记得了,上面又有蛮多重要的VM,如何重置ESXi root密码,成为本文介绍的话题。(2) 在命令提示符界面下,运行mount /dev/sda5 /mnt/test #这里的test目录是自己创建的,用于挂载用。(5) 修改存放用户密码的配置文件,将root用户的密码清除掉(即通过MD5加密的长串字符)(4) 进入到/tmp 目录下,依次解压state.tgz local.tgz。(1) 用Linux光盘启动,如:RHEL5,进入到系统的救援模式。原创 2024-09-12 15:29:03 · 591 阅读 · 0 评论 -
nose-html-reporting plugin HTML报告排序
在Ubuntu 14.04.5 LTS系统使用nose生成测试报告时,使用了nose-html-reporting这个插件,但这个插件,对产生的测试报告是不排序的,比较乱,鉴于此,调整一下源码,使得测试结果能够排序。为什么要排序?排序后,能够方便QA排查失败用例是最初哪一个用例失败导致的,解耦用例间关系,尽可能的确保每个测试用例的独立性。在apt archive目录(/var/cache/apt/archives/)看到,使用的是 nose-html-reporting-0.2.3.tar.gz。原创 2024-09-12 15:26:23 · 357 阅读 · 0 评论 -
Monitor tools of sysdig
Sysdig 是一款强大的系统分析工具,能够监控和捕捉到大量的系统状态信息。它可以用来监控包括但不限于以下状态:CPU 使用率:可以监控整体系统或者特定进程的CPU使用情况。内存使用:能够检查系统的内存使用率,包括物理内存、交换分区等。I/O 活动:监控磁盘I/O活动,如读写操作和I/O等待时间,可以用于诊断性能瓶颈。文件操作:捕捉对文件的打开、读写、关闭等操作,用于分析文件使用情况或未授权访问。网络活动:监听所有网络活动,包括连接的建立与断开、数据包的传输等。原创 2024-09-12 15:25:02 · 346 阅读 · 0 评论