shell文本处理之awk

在日常的日志处理过程中，做好文本处理工作有很大的作用，shell脚本中awk是一个强大的文本处理工具，awk主要用来做列处理，sed主要用来做行处理。

其使用方法如下：

awk '{pattern + action}' {filenames}

下面对其用法做一个简单的描述总结：

awk默认的风格符号一般是空格或者制表符号(Tab)，要想修改需要使用-F选项。例如显示/etc/passwd中的用户名称与全名：

awk -F: '{print $1,$5}' /etc/passwd

其输出的分割符号以默认以空格替代，有时候可能觉得这个很不爽，想使用别的来替换，需要添加OFS选项，修改后的命令如下：

awk -F: -v 'OFS=*_*'  ‘{print $1,$5}’ /etc/passwd

这个例子中输出的结果的分割符号以"*_*"替换。

然后我们继续看，修改每一行为一句话，可以有两种方式，一种是在此基础上修改，另一种是采用类似于C语言的printf格式的语言：

awk -F: '{print "User",$1,"is really",$5}' /etc/passwd

awk -F: '{printf "User %s is really %s\n",$1,$5}' /etc/passwd

上面的例子还可以使用起始与清除（BEGIN与END）的语句块来实现：

awk 'BEGIN {FS=":" ; OFS="*_*" } > {print $1,$5}' /etc/passwd

1、逐行读取文本，将每一行的第一列与第二列元素打印出来

#!/bin/bash
i=1
for ID in $(cat file.txt)
do
     NUM=$i
     S_ID=$(awk  'NR=='$NUM'  {print $1}'  file.txt)
     T_NUM=$(awk  'NR=='$NUM' {print $2}' file.txt)
      echo $S_ID
      echo  $T_NUM
      ((i++))
done

2、awk的条件判断

ls  $dir | grep "[0-9]" |awk '{if($1 !~/txt/) print $1}'

上面的语句的意思是列出指定目录下含有数字的文件，利用awk过滤掉含有txt字符串的文件。

过滤掉两个字符串又该怎么处理呢？

ls -l $dir | awk '{if($9 !~/txt/ && $9 !~/csv/) print $9}' | sed '1d;$d'

上面的脚本的意思为过滤掉指定目录下含有cvs与txt字符串的文件，并且将输出结果的第一行与最后一行删除。