Linux中awk---例子

awk -F€ '{if(NF!=25) print $0}' a_10000_20140801_VGOP1-R2.10-63227_00_001.dat
awk -F€ '{if(length($16)>20) print $0}' i_10000_20140917_VGOP1-R2.13-75305_01_001.dat

awk -F'|' '$2~"[a-zA-Z]" {print $0}' lx_use_detail_log_201409*.txt  
找出文件中第二列中包含字母的数据行，以‘|’作为分隔符；

awk -F'|' '$5~"[0-9]" {print $0}' i_10000_20141001_VGOP1-R2.13-21417_00_003.dat

awk -F€ '{ if (NF==17) printf("%s€%s\n\r", $1,$2 ) }'  a_10000_20140814_VGOP1-R2.10-63217_00_020.dat>lihong.dat
awk -F€ '{ if (NF==17) printf("%s€%s€%s€%s€%s€%s€%s€%s€%s€%s€%s€%s€%s€%s\n\r", $1,$2,$3,$4,$5,$6,$8,$9,$10,$12,$14,$15,$16,$17 ) }'  a_10000_20140814_VGOP1-R2.10-63217_00_020.dat>a_10000_20140814_VGOP1-R2.10-63217_00_020.dat.tmp
输出结果：
38000001€117.136.31.34
38000002€221.6.152.179

计算文件记录行数：
1：awk 'END{printf "%d\n", NR}'  数据文件名
2：cat 数据文件名 | sed -n '$='
3：wc -l 数据文件名
4：ls -l 文件名 | awk ‘{print $5}’、

awk 'BEGIN {ORS="\r\n"} {print $0 }' dong.txt

awk '{FS="\001"} {print $1"€"$2}' appGame.txt

 

除了awk的内置变量，awk还可以自定义变量。

下面统计/etc/passwd的账户人数

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is  40
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。

这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is 0 root:x:0:0:root:/root:/bin/bash
...
[end]user count is 40 

统计某个文件夹下的文件占用的字节数
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  8657198  

如果以M为单位显示:
ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' [end]size is  8.25889 M
注意，统计不包括文件夹的子目录。

 

条件语句
awk中的条件语句是从C语言中借鉴来的，见如下声明方式：
 
if (expression) {
    statement;
    statement;
    ... ...
} if (expression) {
    statement;
} else {
    statement2;
} if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):

ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}'
[end]size is  8.22339 M 

循环语句
awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

数组
因为awk中数组的下标可以是数字和字母，数组的下标通常被称为关键字(key)。值和关键字都存储在内部的一张针对key/value应用hash的表格里。
由于hash不是顺序存储，因此在显示数组内容时会发现，它们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，
awk 也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和、统计单词以及跟踪模板
被匹配的次数等等。

显示/etc/passwd的账户
awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}'/etc/passwd
0 root 1 daemon 2 bin 3 sys 4 sync 5 games
......
这里使用for循环遍历数组