Awk使用
适合初学者,可以拿来直接使用的文档。
一、 awk的运行模式
# awk ‘条件类型1 {动作1} 条件类型2 {动作2} …’ filename
说明:
Awk后续的所有动作以单引号 ‘ 括住。
一个完整的awk语句为:Awk ‘[patten]{action}……’, 其中pattern缺省为1,action缺省为{print}。
那么awk ‘1’完整的写法就是awk ‘1{print}’; 同理,awk ‘{print}’完整的写法也是awk ‘1{print}’。
二、 awk常用
1. $0 $1$2 $3
$0是整行,默认采用空格为分隔符,$1是第一列,$2是第二列,实际awk运行是,先读入文件中第一行数据,并将第一行的数据填入$0、$1、$2等变量中,再依据条件类型做相应的操作,操作做完后,若还有后续“行”的数据,再重复读进来,直到所有的数据读完。
2. –F ‘ :’ 默认的分隔符是空格键或[tab]键,修改为 :为分隔符则是左边的命令。
例如:# cat /etc/passwd | awk –F ‘:’ ‘{print $1}’,这是在命令行中,还可以在awk程序中修改分隔符 FS=”:”。
3. 用到的几个awk内置变量:
NF: 每一行($0)拥有的字段总数
NR: 目前awk所处理的是第几行数据
FS: 目前的分隔字符,默认是空格键
4. BEGIN
为什么会有BEGIN,《鸟哥书1》P365,比如在awk程序中修改分隔符,但第一行并没有输出你想要的结果,因为读入第一行的时候$1、$2等这些变量还是以空格为分隔符读进来的,这时候就需要BEGIN语句的作用。
5. END
END说白了就是处理完文件中所有的行后进行的操作,比如说统计文件中行数或某个字符串出现的次数,END 之后输出总数即可。
6. Awk 语句中的多个{}是怎么执行的?
{}里都是都是操作,awk是一行一行读取文本,然后按照代码的前后顺序执行。
7. Awk中的next
如果调用next,则next之后的命令都不执行了,该行文本的处理结束,开始读取下一条记录并从头开始执行程序。
8. Awk中的getline
与next相似,getline也是读取下一行数据。但是与next不同的是,next读取下一行之后,把控制权交给了awk脚本的顶部。但是getline却没有改变脚本的控制,读取下一行之后,继续运行当前的awk脚本。getline执行之后,会覆盖$0的内容。
9. Awk执行
awk –f awk_pro file_name或者 awk –F ‘:’ ‘$1==open {print $0}’
三、 awk实战
1. awk匹配变量的内容
例如:abc=”hello” $0~abc,达到匹配变量的内容。
2. awk中的模式
较常用的是:
/regular expression/: 扩展的正则表达式
如:awk '/3/ {print}',这是整行匹配,如果仅需要匹配几个字符
awk '$1 ~ /ko/ {print}'/etc/passwd
Relational expression:关系表达式
如:
3. awk与正则表达式的结合使用
^word:待查找的字符串在行首
word$:待查找的字符串在行尾
.:代表一定有一个任意字符的字符
\:转义字符,将特殊符号的特殊意义去除
*:重复零个到无穷多个的前一个字符
[list]:从字符集合中找到一个待查找的字符
[^list]:从字符集合中住处不要的字符串或范围
+:重复一个或一个以上的前一个RE字符
?:零个或一个的前一个RE字符
|:用或的方式找出数个字符串
先列这么多,用时可再参考《鸟哥书1》P361、P356
四、 grep
先记grep几个命令,grep多用于查找
grep string dir:grep在目录下查找有字符串string的文件,默认grep只能搜索当前目录,如果该目录下有子目录,则grep –r是搜索子目录,grep –d是忽略子目录。
grep –e char1 –e char2 filename: 显示出包含char1 或char2的行的内容
grep –E ‘open|read’ filename
egrep ‘char1|char2’ filename egrep等同于grep -E
grep –c ‘string’ file_name:统计文件中匹配string的行数
grep –o ‘string’ file_name:
-o,--only-matching show only the partof a line matching PATTERN
Grep –P perl的正则表达式,暂未用过。