linux命令笔记

awk 分析文件

1，默认每行按空格或TAB分割，输出文本中的1、4项    awk '{print $1,$4}' log.txt

2，指定分割字符‘逗号’，输出文本中的1、4项  awk -F, '{print $1,$4}'   log.txt

3,设置变量 awk -va=1 '{print $1,$1+a}' log.txt;   awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt

4,运算，
 
 
运算符
描述
=
 += -= *= /= %= ^= **=
赋值
?:
C条件表达式
||
逻辑或
&&
逻辑与
~
 ~!
匹配正则表达式和不匹配正则表达式
<
 <= > >= != ==
关系运算符     过滤第一列大于2的行 awk '$1>2' log.txt ； 过滤第一列大于2且第二列等于'Are'的行 awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt 
空格
连接
+
 -
加，减
*
 / &
乘，除与求余
+
 - !
一元加，减和逻辑非
^
 ***
求幂
++
 --
增加或减少，作为前缀或后缀
$
字段引用
in
数组成员

5，内置变量
 
 
变量
描述
\$n
当前记录的第n个字段，字段间由FS分隔
\$0
完整的输入记录
ARGC
命令行参数的数目
ARGIND
命令行中当前文件的位置(从0开始算)
ARGV
包含命令行参数的数组
CONVFMT
数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO
最后一个系统错误的描述
FIELDWIDTHS
字段宽度列表(用空格键分隔)
FILENAME
当前文件名
FNR
同NR，但相对于当前文件
FS
字段分隔符(默认是任何空格)
IGNORECASE
如果为真，则进行忽略大小写的匹配
NF
当前记录中的字段数         
awk '{print NF,$1,$2,$3}' log.txt
NR
当前记录数
OFMT
数字的输出格式(默认值是%.6g)
OFS
输出字段分隔符(默认值是一个空格)
ORS
输出记录分隔符(默认值是一个换行符)
RLENGTH
由match函数所匹配的字符串的长度
RS
记录分隔符(默认是一个换行符)
RSTART
由match函数所匹配的字符串的第一个位置
SUBSEP
数组下标分隔符(默认值是/034)

6，使用正则表达式   
输出包含"re" 的行 awk '/re/ ' log.txt  ~ 表示模式开始。// 中是模式
输出第二列包含 "th"，并打印第二列与第四列 awk '$2 ~ /th/ {print $2,$4}' log.txt 
忽略大小写 awk 'BEGIN{IGNORECASE=1} /this/' log.txt

sed 's/hi/HI/'替换hi为HI

sort file.txt | uniq -c统计各行在文件中出现的次数

-n是按照数字大小排序，-r是以相反顺序，-k是指定需要爱排序的栏位，-t指定栏位分隔符为冒号

zgrep "run time:" test.log.gz
|awk '{print $(NF-3),$(NF-1)}'
|sed 's/QT-[0-9]\{10,20\}//'
|sed 's/pool-[0-9]\{1,3\}-thread-[0-9]\{1,3\}//'
|sort
|uniq -c
|sed 's/time://'
|sort -k 3n
|sed 's/:method://'
|awk '{{if($NF<=5) {a[$2" 5"] += $1;} else if($NF<=10) {a[$2 " 10"] += $1;} 
     else if($NF<=20) {a[$2" 20"] += $1;} else if($NF<=30) {a[$2" 30"] += $1;}
else if($NF<=40) {a[$2" 40"] += $1;} else if($NF<=50) {a[$2" 50"] += $1;}
else if($NF<=60) {a[$2" 60"] += $1;} else {a[$2" 61+"] += $1}} cs[$2] += $1;}
END{ for( i in a) 
{print i, a[i],a[i]/cs[substr(i,0,index(i," ")-1)] }}'
|sort -k 1,1r -n -k 2
|awk '{print $1"\t"$2"\t"$3"\t"$4}' >~/all-htime2.txt