shell脚本---awk命令

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理，然后输出

awk命令形式:

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

 [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

'  '          引用代码块

BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符

//           匹配代码块，可以是字符串或正则表达式

{}           命令代码块，包含一条或多条命令

；          多条命令使用分号分隔

END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

 

特殊要点:

$0           表示整个当前行

$1           每行第一个字段

NF          字段数量变量

NR          每行的记录号，多文件记录递增

FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始

\t            制表符

\n           换行符

FS          BEGIN时定义分隔符

RS       输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)

~            匹配，与==相比不是精确比较

!~           不匹配，不精确比较

==         等于，必须全部相等，精确比较

!=           不等于，精确比较

&&　     逻辑与

||             逻辑或

+            匹配时表示1个或1个以上

/[0-9][0-9]+/   两个或两个以上数字

/[0-9][0-9]*/    一个或一个以上数字

FILENAME 文件名

OFS      输出字段分隔符， 默认也是空格，可以改为制表符等

ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕

-F'[:#/]'   定义三个分隔符

IF语句

必须用在{}中，且比较内容用()扩起来

数值比较：==   !=   >   >= 

多条件逻辑：&&　|| 

匹配://纯字符匹配   !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹配   ~/a1|a2/字段值匹配a1或a2

模式 pattern{action}

        /regular expression/

        relational expression

        BEGIN

        END

        pattern, pattern

 数组表达式

        array[index] = value

        for (item in array)

        if (index in array)

算术函数

1. 生成随机数函数：rand()、srand(x)

2. 整数函数：int(x)

3. 三角函数：sqrt(x)、cos(x)、sin(x)、atan2(y,x)、 log(x)、exp(x)

字符串函数（10个）

1. 分割字符串：split(s,a,sep)

2. 格式化函数：sprintf("fmt", expr)

3. 子串函数：index(s,t)、substr(s,p,n)

4. 字符串长度：length(s)

5. 替换函数：sub(r,s,t)、gsub(r,s,t)

6. 大小写转换： tolower(s)、 toupper(s)

7. match函数：match(s,r)

“底部抽屉”函数：getline函数、close()、system()

        注意：getline与next的区别。

控制语句： exit、next

控制语句： if、for、while、do while、break、continue

输出函数：printf、sprintf

        %-width.precision  format-specifier

awk执行shell命令

[root@localhost html]# echo "abc"|awk '{cmd="ls $1";system(cmd);}'
50x.html  i.ip index.html
[root@localhost html]# echo "abc"|awk '{cmd=sprintf("echo %s",$1);system(cmd);}'
abc

base64加密

[root@localhost html]# echo "attytbc"|awk '{cmd=sprintf("echo -n %s|base64",$1);system(cmd);}'
YXR0eXRiYw==
[root@localhost html]# echo "YXR0eXRiYw=="|awk '{cmd=sprintf("echo -n %s|base64 -d",$1);system(cmd);}'
attytbc[root@localhost html]#

按位操作

awk中没有左移、右移、按位取反、按位与、按位或、按位异或的操作符，只能用函数。

 lshift(val, count)、rshift(val, count)、compl(val)、and(v1, v2)、or(v1, v2)、xor(v1, v2)。

如将字符串ip转换成数值ip：

[root@localhost html]# cat i.ip 
192.168.1.107
[root@localhost html]# cat i.ip |awk 'BEGIN{FS="."}{ip1=lshift($1,24);ip2=lshift($2,16);ip3=lshift($3,8);ip4=$4;ip=ip1+ip2+ip3+ip4;print ip}'
3232235883

再将数值ip转换为字符串ip：

[root@localhost html]# cat i.ip 
3232235883
[root@localhost html]# cat i.ip|awk '{ip1=rshift(and($1,0xff000000),24);ip2=rshift(and($1,0xff0000),16);ip3=rshift(and($1,0xff00),8);ip4=and($1,0xff);print ip1"."ip2"."ip3"."ip4}'
192.168.1.107