awk,sed,grep,cut,uniq,sort,tr,wc,head,tail的常见用法

awk

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

 

调用awk的三种方式

1.命令行方式

awk [-F field-separator]  'commands' input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。

在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

 

2.shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。

相当于shell脚本首行的：#!/bin/sh

可以换成：#!/bin/awk

 

3.将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-script-fileinput-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

 

基本用法实例，一些规则可从例子中总结

1.显示最近登陆系统的五个用户

    last –n 5 | awk '{print $1}'      #$1表示第一项，$NF表示最后一项

 

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键"

 

2.查看/etc/passwd获取所有用户

    cat /etc/passwd | awk –F ':' '{print $1}'    #-F指定分隔符

 

3.获取用户名及其登陆shell，用tab分开

    cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'

 

4.获取用户及其登陆shell，用逗号隔开，对所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"

    cat /etc/passwd | awk -F ':' 'BEGIN {print"name,shell"} {print $1","$7} END {print"blue,bin/nosh"}'

打印的信息需加双引号

5.搜索/etc/passwd中含root关键字的行

    awk –F ':' '/root/' /etc/passwd    # //不可少

    支持正则.如搜索以root关键字开头的行

    awk –F ':' '/^root/' /etc/passwd

其实这里的两句都不用–F ':'

6.搜索/etc/passwd中有root关键字的行，并输出第七个域

    awk –F ':' '/root/{print$7}' /etc/passwd

命令只能写在第二个引号里，看来可以把搜索条件和print放一起

7.搜索uid,gid均为500的行

    awk -F ':' '$3 == 500,$4 == 500' /etc/passwd

 

8.匹配多个空格

    awk -F ' +' '{print $2}' testfile

    匹配多个空格或:

    netstat –lnt | grep 80

    tcp       0      0 :::80                       :::*                        LISTEN

    现在要取出80

    netstat –lnt | grep 80 | awk –F '[ :]+' '{print$4}'

    也可以

    netstat –lnt | grep 80 | awk –F ' +' '{print$4}' | cut -d ':' -f 4

 

 

awk内置变量

ARGC               命令行参数个数

ARGV               命令行参数排列

ENVIRON            支持队列中系统环境变量的使用

FILENAME           awk浏览的文件名

FNR                浏览文件的记录数

FS                 设置输入域分隔符，等价于命令行 -F选项

NF                 浏览记录的域的个数

NR                 已读的记录数

OFS                输出域分隔符

ORS                输出记录分隔符

RS                 控制记录分隔符

 

变量应用实例

对/etc/passwd，输出：文件名 行号 每行列数 每列内容

awk -F ':''{print "filename:" FILENAME ",linenumber:" NR",columns:" NF ",linecontent:" $0}' /etc/passwd

 

使用printf，代码更简洁、易读

awk -F ':''{printf("filename:%5s,linenumber:%s,columns:%s,linecontent:%s\n"),FILENAE,NR,NF,$0}'/etc/passwd

 

$0表示所有域

 

 

print和printf

awk中同时提供了print和printf两种打印输出的函数。

其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。

printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。

 

(更多用法今后需要再补充)

 

 

 

 

 

sed

正则表达式与元字符

元字符	功能	示例
^	行首定位符	/^my/  匹配所有以my开头的行
$	行尾定位符	/my$/  匹配所有以my结尾的行
.	匹配除换行符以外的单个字符	/m..y/  匹配包含字母m，后跟两个任意字符，再跟字母y的行
*	匹配零个或多个前导字符	/my*/  匹配包含字母m,后跟零个或多个y字母的行
[]	匹配指定字符组内的任一字符	/[Mm]y/  匹配包含My或my的行
[^]	匹配不在指定字符组内的任一字符	/[^Mm]y/  匹配包含y，但y之前的那个字符不是M或