AWK工具学习(一)-awk介绍

任何awk语句都由模式和动作组成，模式驱动动作触发事件，动作执行对输入行的处理
awk支持'?'、'+'两个扩展元字符，而grep和sed并不支持
A.1 举个小例子，演示awk的使用(以下是全部的操作过程)

[lidc@hd66 awk-experiment]$ touch input
[lidc@hd66 awk-experiment]$ awk '/^$/{print "this is a blank line"}' input
[lidc@hd66 awk-experiment]$ cat input 
1.[lidc@hd66 awk-experiment]$ echo '' > input 
[lidc@hd66 awk-experiment]$ cat input 

2.[lidc@hd66 awk-experiment]$ awk '/^$/{print "this is a blank line"}' input
this is a blank line
3.[lidc@hd66 awk-experiment]$ echo 'test by tony' >input
[lidc@hd66 awk-experiment]$ cat input 
test by tony
4.[lidc@hd66 awk-experiment]$ awk '/^$/{print "this is a blank line"}' input
[lidc@hd66 awk-experiment]$ 

解释：以上是判断输入文件是不是空行的一个例子，1处输入为空，所以执行2后输出'this is a blank line'
3处输入了非空数据，所以在执行4的时候未输出

另外命令行模式下，如果没有指定输入文件将从命令行读取相关文本

[lidc@hd66 awk-experiment]$ awk '/^$/{print "this is a blank line"}' 

this is a blank line

this is a blank line

this is a blank line

A.2 awk编程模型
awk程序由一个主输入循环维持，主循环依次读取文件行，程序员只需要对行进行操作，打开文件、关闭文件的操作都由主循环管理

awk还定义了两个特殊的字段：BEGIN和END。BEGIN用于在未读取文件行之前执行。上例子：

[lidc@hd66 awk-experiment]$ awk 'BEGIN{print "joke"} /^$/{print "this is a blank line"}END{print "the end"}' input
joke
this is a blank line
the end
[lidc@hd66 awk-experiment]$ cat input 
test by tony

[lidc@hd66 awk-experiment]$

A.3 调用方法
简单说：
1. 命令行执行
awk [-F 域分隔符] 'awk程序段' 输入文件
hdfs cat /user/ddclick/visitpath-v2_2013-02-18/step_dict/part-* | awk -F~==~ '{print $1}' > urls

2.使用-f调用
awk -f awk脚本文件 输入文件

3.设置脚本为可执行，然后直接执行
./awk脚本文件 输入文件