Gavin Blog

本文章著作权归作者所有，任何形式的转载都请注明出处。来源: Transcendent。文章作者: Gavin Wang。

在网上找了一个统计pool下pg分布的脚本，拿来使用了一下，发现可以在ceph J版上执行，在L版报错，原脚本内容参考如下:shellwhile($col!i=0;RSTART=0;RLENGTH=0;END {sum=0;}'本文讲述awk如何引用shell变量，来解决上面这个脚本对我们产品的兼容问题。

今天验证在对存储不断灌S3 10K小对象数据情况下，对设备强制断电，观察是否引发ceph-osd crash问题，简易写了个临时命令完成检查操作，如下：shellsleep 300;done另外一个临时check脚本参考如下:shell/bin/bashi=1doif [[ $?-eq 0 ]];then!exit 1elselet i+=1fidone这里使用到了随机数，本文介绍shell几种生成随机数的方法。

最近在测试ceph rocksdb性能优化效果，由于频繁的重启机器（ipmitool power off），出现了两次ceph-osd replay crash问题，由于频繁的power off太伤机器了，验证完毕rocksdb性能优化后，重写了个script，通过kill ceph 核心服务来模拟突然掉电，同时cosbench持续狂打流量，以及不间断的reset s3 pool 来完成场景的复现。

今天细看了同事Henry编写的一个shell脚本，看到如下片断内容：shelldosleep 60done这里有一个'|&'，不明觉厉~ (#.#)

为何要写这篇文章，因为在上篇文章有使用shell去尝试统计ES的写入速度，需要精确到毫秒级别的时间差，但是尝试了expr，let，发现不行，而是awk却可以，所以本文汇总一下，以bash为例，shell中的计算精度问题。

本文介绍下如何call API的方式去统计ES的写速度，当然，你可以使用监控工具去统计，不在本文描述范围。

这次使用esrally进行elastic search性能测试，构造了产品自己生成的索引所需要的数据，由于数据比较大，行数有700million+，统计行数碰到了问题，主要是时间问题，统计太耗时，所以，想知道哪个统计效率更高。本文介绍几种方法，以100million行数的文件，在Linux下统计文件行数，对比下统计性能如何。由于被统计的文件的数据结构不一样，上述命令统计出来的性能也会有一些差异。本文示例的文档，统计效果比较好的方法是：wc -l 优于 cat 优于 sed 优于 awk 优于 grep。

本文章著作权归作者所有，任何形式的转载都请注明出处。来源: Transcendent。文章作者: Gavin Wang。

产品UI支持存储网关上设置VIP，UI上并不会展示出这个/些VIP与物理IP之间的mapping关系。故而先提供一个脚本，展示客户想知道当前VIP与物理IP间的映射关系。

本文章著作权归作者所有，任何形式的转载都请注明出处。来源: Transcendent。文章作者: Gavin Wang。

Linux下如何快速、批量删除文件中的空格？

今天查看某公众号发现一篇shell脚本，用来侦测网络URl是否可达，直接抄袭过来备用。

之前在网关测试组，每个迭代版本都需要进行性能测试，每次测试，除去环境部署外，最大的工作就是性能数据的收集以及分析、绘图了。做成一个小工具，支持组内所有产品，根据配置文件的设定，自动进行数据的收集，通过excel宏，分析性能数据，并绘制成图在excle中展示。

注意sqlplus段使用 col …new_value …定义了变量并带参数exit, 然后自动赋给了shell的$?$1表示第一个参数, sqlplus里可以直接使用, 赋变量的等号两侧不能有空格不能有空格.注意sqlplus段使用老板键`了, 赋变量的等号两侧不能有空格.本文章著作权归作者所有，任何形式的转载都请注明出处。对密码文件设置权限, 只有用户自己才能读写.来源: Transcendent。文章作者: Gavin Wang。

#!/usr/bin/bashls|while read i;do      mv "$i" $(echo $i|tr -d ' ') 2>/dev/null  done

对文件中某一列进行数值求和 198 MMSGSUSE11 [wyz] :/home/wyz/perl/testcase>more tmp.txt testAddCountryCode.AddCountryCode 5 0 0 796.28 testChcekSAGipNormal.ChcekSAGIPNormalTest 3 0 0 418.28 testCheckIn