awk案例学习

阅读目录

• 例子1：读取指定列的内容
• 例子2：-F指定分割的符号
• 例子3：在输出的开头和结尾添加输出
• 例子4：搜索含有某关键字的行
• 例子5：单双引号
• 例子7：条件判断
• 例子8：复合表达式
• 例子9：BEGIN END
• 例子10：if else

awk是一个强大的文本分析工具，awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。

使用方法

1	awk  '{pattern+action} {filename}'

pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。

一. 初级篇

回到顶部

例子1：读取指定列的内容

（last -n:列出最近登陆系统的n个用户的信息）

1 2 3 4 5 6 7 8

[jihite@~]$last  -5 jihite   pts/ 4         : 0.0              Mon Aug  18  23: 00    still logged in   jihite   pts/ 2         : 0.0              Mon Aug  18  23: 00    still logged in   jihite   pts/ 1         : 0.0              Mon Aug  18  23: 00    still logged in   reboot   system boot   3.2 . 0 -61 -generic Mon Aug  18  22: 40  -  23: 03   ( 00: 23 )    reboot   system boot   3.2 . 0 -61 -generic Sat Aug  16  20: 27  -  12: 54   ( 16: 26 )      wtmp begins Sat Aug   2  01: 18: 13  2014

 现在利用awk命令只提取第一列的用户名

1 2 3 4 5 6 7 8

[jihite@~]$last  -5  | awk  '{print $1}' jihite jihite jihite reboot reboot   wtmp

 awk工作流程：逐行读取（以‘\n’区分），默认以空格分开，0是整行内容，0是整行内容，1是第一列内容。

如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':' (默认的域分隔符是空格)。

回到顶部

例子2：-F指定分割的符号

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/sh
bin     /bin/sh
sys     /bin/sh

1,1,7之间以“\t”分开

回到顶部

例子3：在输出的开头和结尾添加输出

在所有行添加列名name,shell，在最后一行添加"blue,/bin/nosh"。

1 2 3 4 5 6 7 8

cat /etc/passwd |awk  -F  ':'   'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}' name,shell root,/bin/bash daemon,/bin/sh bin,/bin/sh sys,/bin/sh .... blue ,/bin/nosh

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

回到顶部

例子4：搜索含有某关键字的行

（找出含有关键字‘man’的行）

[jihite@~]$cat '/etc/passwd' | awk -F : '/man/{print $0}' 
man:x:6:12:man:/var/cache/man:/bin/sh
colord:x:102:107:colord colour management daemon,,,:/var/lib/colord:/bin/false

回到顶部

例子5：单双引号

双引号
awk '{print "\""}'        #放大：awk '{print "  \"  "}'
单引号
awk '{print "'\''"}'       # 放大: awk '{print  "  '  \  '  '   " }'

例给读出的每行内容加上单引号，行末还加上逗号

$cat del
12345
67890
abcde
fghig

$cat del | awk '{print $1}'
12345
67890
abcde
fghig

$cat del | awk '{print "'\''"$1"'\''"}'
'12345'
'67890'
'abcde'
'fghig'

$cat del | awk '{print "'\''"$1"'\''"","}'
'12345',
'67890',
'abcde',
'fghig',

例子6：内置变量

1 2 3 4 5 6 7 8 9 10 11

ARGC               命令行参数个数 ARGV               命令行参数排列 ENVIRON            支持队列中系统环境变量的使用 FILENAME           awk浏览的文件名 FNR                浏览文件的记录数 FS                 设置输入域分隔符，等价于命令行 -F选项 NF                 浏览记录的域的个数 NR                 已读的记录数 OFS                输出域分隔符 ORS                输出记录分隔符 RS                 控制记录分隔符

 实例

[jihite@~]$awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd
filename:/etc/passwd,linenumber:1,columns:7
filename:/etc/passwd,linenumber:2,columns:7
filename:/etc/passwd,linenumber:3,columns:7
filename:/etc/passwd,linenumber:4,columns:7
filename:/etc/passwd,linenumber:5,columns:7
filename:/etc/passwd,linenumber:6,columns:7
filename:/etc/passwd,linenumber:7,columns:7
filename:/etc/passwd,linenumber:8,columns:7
filename:/etc/passwd,linenumber:9,columns:7
filename:/etc/passwd,linenumber:10,columns:7
filename:/etc/passwd,linenumber:11,columns:7
filename:/etc/passwd,linenumber:12,columns:7
filename:/etc/passwd,linenumber:13,columns:7
filename:/etc/passwd,linenumber:14,columns:7
filename:/etc/passwd,linenumber:15,columns:7
filename:/etc/passwd,linenumber:16,columns:7
filename:/etc/passwd,linenumber:17,columns:7
filename:/etc/passwd,linenumber:18,columns:7
filename:/etc/passwd,linenumber:19,columns:7
filename:/etc/passwd,linenumber:20,columns:7
filename:/etc/passwd,linenumber:21,columns:7
filename:/etc/passwd,linenumber:22,columns:7
filename:/etc/passwd,linenumber:23,columns:7
filename:/etc/passwd,linenumber:24,columns:7
filename:/etc/passwd,linenumber:25,columns:7
filename:/etc/passwd,linenumber:26,columns:7
filename:/etc/passwd,linenumber:27,columns:7
filename:/etc/passwd,linenumber:28,columns:7
filename:/etc/passwd,linenumber:29,columns:7
filename:/etc/passwd,linenumber:30,columns:7
filename:/etc/passwd,linenumber:31,columns:7
filename:/etc/passwd,linenumber:32,columns:7
filename:/etc/passwd,linenumber:33,columns:7
filename:/etc/passwd,linenumber:34,columns:7
filename:/etc/passwd,linenumber:35,columns:7
filename:/etc/passwd,linenumber:36,columns:7

 

二. 中级篇

| awk -F '\t' '{if(9mohe)print9mohe)print9}'

回到顶部

例子7：条件判断

把文件text中第二列大于10的行的第一列+“is expensive”输出

1 2 3 4 5

Banana   0.89 Paech    8.79 Kiwi     11.50 Pineapple    1.29 Apple    10.99

[@jihite]$ cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}'
Kiwi  is Expensive
Apple  is Expensive

回到顶部

例子8：复合表达式

把文件text中第二列大于10的输出“is expensive”，小于9的输出“is cheap”

[@jihite]$ cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}
$2 <= 9 {print $1 " is cheap"}'
Banana is cheap
Paech is cheap
Kiwi  is Expensive
Pineapple is cheap
Apple  is Expensive

回到顶部

例子9：BEGIN END

1	[jihite@~]$cat Hurl_sort_copy| awk -F  "\t"  'BEGIN{cnt=0}{cnt+=$3} END{print cnt}'

e.g.

$cat del2
==>===>====>mod:len:59
==>===>====>mod:len:238
==>===>====>mod:len:49
==>===>====>mod:len:483

$cat del2 | awk -F 'len:' 'BEGIN {sum=0} {sum += $2} END {print sum}'
829

显示中间过程

cat del | awk 'BEGIN {cnt=0}{print cnt"\t"$0}{cnt+=1}'  #表达式之间用｛｝隔开

回到顶部

例子10：if else

htext   text  | awk -F "\t" 'BEGIN {cntL=0;cntR=0} {if(NF>=9){cntL+=1} else {cntR+=1}} END {print cntL; print cntR}' #列数大于等于9的个数为cntL; 列数小于9的个数为cntR

 

本文转自jihite博客园博客，原文链接：http://www.cnblogs.com/kaituorensheng/p/3919212.html，如需转载请自行联系原作者