linux命令——awk

最新推荐文章于 2023-03-15 21:14:21 发布
最新推荐文章于 2023-03-15 21:14:21 发布
阅读量441 收藏 1
点赞数
分类专栏： 【技术】JavaScript/python/shell 测试技术面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huazhongkejidaxuezpp/article/details/85260109
版权

作用/语法

强大的文本分析

awk处理过程: 依次对每一行进行处理，然后输出

awk [选项参数] 'script' var=value file(s) 或 awk [选项参数] -f scriptfile var=value file(s)

默认分隔符-按空格或TAB分割

实例说话

用法一：每行按空格或TAB分割

】每行按空格或TAB分割，输出文本中的1、4项

$ awk '{print $1,$4}' log.txt

】格式化输出

$ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt

用法二：指定分割字符

】awk -F #-F相当于内置变量FS, 指定分割字符

1）$ awk -F, '{print $1,$2}' log.txt

2）# 或者使用内建变量 $ awk 'BEGIN{FS=","} {print $1,$2}' log.txt

】使用多个分隔符

$ awk -F '[ ,]' '{print $1,$2,$5}' log.txt

用法三：设置变量

】用法三： awk -v # 设置变量

$ awk -va=1 '{print $1,$1+a}' log.txt

$ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt 

过滤

】过滤第一列大于2的行

$ awk '$1>2' log.txt #命令

】过滤第一列等于2的行

$ awk '$1==2 {print $1,$3}' log.txt #命令 

】过滤第一列大于2并且第二列等于'Are'的行

$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令

输入分隔符

】# 输出顺序号 NR, 匹配文本行号 $ awk '{print NR,FNR,$1,$2,$3}' log.txt

】 # 指定输出分割符 $ awk '{print $1,$2,$5}' OFS=" $ " log.txt

使用正则，字符串匹配

】# 输出第二列包含 "th"，并打印第二列与第四列  $ awk '$2 ~ /th/ {print $2,$4}' log.txt 

ps: ~ 表示模式开始。// 中是模式。

】# 输出包含"re" 的行 $ awk '/re/ ' log.txt

】忽略大小写

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt 

】模式取反

$ awk '$2 !~ /th/ {print $2,$4}' log.txt

 $ awk '!/th/ {print $2,$4}' log.txt 

参考http://www.runoob.com/linux/linux-comm-awk.html

更多例子轰炸

】第一列  ： last -5 | awk '{print $1}'

】 获取第一列并去重 ： last -5 | awk '{print $1}' | uniq

】 : 分隔符    ：  #cat /etc/passwd |awk -F ':' '{print $1}'

】如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}' root /bin/bash daemon /bin/sh bin /bin/sh sys /bin/sh

】在输出的开头和结尾添加输出

在所有行前添加列名name,shell，在最后一行添加"blue,/bin/nosh"。

cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'

 

 

】搜索含有某关键字的行-（找出含有关键字‘man’的行）

cat '/etc/passwd' | awk -F : '/man/{print $0}' input.txt

 

 

条件判断-把文件text中第二列大于10的行的第一列+“is expensive”输出

cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"}'

 

Banana  0.89

Paech   8.79

Kiwi    11.50

Pineapple   1.29

Apple   10.99

 

结果：

Kiwi is Expensive Apple is Expensive

 

把文件text中第二列大于10的输出“is expensive”，小于9的输出“is cheap”

cat text | awk -F '\t' '$2 >= 10 {print $1, " is Expensive"} $2 <= 9 {print $1 " is cheap"}' Banana is cheap Paech is cheap Kiwi is Expensive Pineapple is cheap Apple is Expensive

打印$4 包含 Brown 的行

awk '$4~/Brown/ {print $0}' grade.txt

#精确匹配

 

awk '$3=="48" {print $0}' grade.txt

P.Bunny         02/99   48      Yellow  12      35      28

不匹配 使用 ‘!~’

zhuyupeng@zhuyupeng-PC ~

$ awk '$0 !~ /Brown/' grade.txt

 

awk '$4 != "Brown-2" {print $0}' grade.txt

 

小于

awk '$6 < $7 {print $0 "$1 Try better at the next comp"}' grade.txt

M.Tansley       05/99   48311   Green   8       40      44$1 Try better at the next comp

J.Lulu          06/99   48317   green   9       24      26$1 Try better at the next comp

打印第8行

➜  testlinux git:(master) ✗ awk 'NR==8{print $0} ' a.txt

555855

➜  testlinux git:(master) ✗ awk 'NR==8 {print $0}' a.txt

555855

 

功能是打印所有输入行

awk '{print $0} ' f ilename

 

打印每行字段数

awk -F: '{print NF,$0} ' f ilename

 

打印字段数大于等于4个的行

Awk -F: ‘NF>＝4｛print $0｝ ’ f ilename

 

 

打印UID在 30－40范围内的用户名

Awk -F: '$3>=30&&S3<=40{print $1}' f ilename

 

Awk  '$1>=30000000&&S1<=400000000 {print $1}' a.txt

if/else

打印：第1列*第2列的值大于100的行

 

awk '$1 * $2 >100 {print $1}' file         显示文件中第一个域匹配101的行（记录）

修改某个列后打印

awk '{$1 == 'Chi' {$3 = 'China'; print}' file        找到匹配行后先将第3个域替换后再显示该行（记录）。 

    awk '{$7 %= 3; print $7}'  file           将第7域被3除，并将余数赋给第7域再打印。

给变量赋值后打印

awk '/tom/ {wage=$2+$3; printf wage}' file          找到匹配行后为变量wage赋值并打印该变量。

 END表示在所有输入行处理完后进行处理。

testlinux git:(master) ✗ awk '/123444/ {count++;}  

         END {print "tom was found "count" times"}' a.txt

tom was found 12333 times

 

把file1、file2、file3的文件内容全部写到fileall中，格式为 

    打印文件并前置文件名。

 

 awk '{ print FILENAME,$0 }' a.txt b.txt>fileall.txt 

 

对a.txt文件的第四个域进行求和！

awk 'BEGIN{total=0}{total+=$4}END{print total}' a.txt 

 

开头

  • $ awk '/^(no|so)/' test      -----打印所有以模式no或so开头的行。
  • $ awk '/^[ns]/{print $1}' test       -----如果记录以n或s开头，就打印这个记录。
  • $ awk '$1 ~/[0-9][0-9]$/(print $1}' test         -----如果第一个域以两个数字结束就打印这个记录。
  • $ awk '$1 == 100 || $2 < 50' test      -----如果第一个或等于100或者第二个域小于50，则打印该行。
  • $ awk '$1 != 10' test    -----如果第一个域不等于10就打印该行。
  • $ awk '/test/{print $1 + 10}' test  -----如果记录包含正则表达式test，则第一个域加10并打印出来。

 

打印日志

awk '{print $1,$2,$3}'  error.log

结果：

INFO 2018-12-24 15:50:00

INFO 2018-12-24 15:50:00

INFO 2018-12-24 15:51:00

INFO 2018-12-24 15:51:00

INFO 2018-12-24 15:52:00

INFO 2018-12-24 15:52:00

INFO 2018-12-24 15:53:00

INFO 2018-12-24 15:53:00

INFO 2018-12-24 15:54:00

INFO 2018-12-24 15:54:00

INFO 2018-12-24 15:55:00

INFO 2018-12-24 15:55:00

INFO 2018-12-24 15:56:00

INFO 2018-12-24 15:56:00

INFO 2018-12-24 15:57:00

INFO 2018-12-24 15:57:00

 

error.log

 INFO 2018-12-24 15:56:00 RunBusiness.class 230 Line 任务是否可执行，task_id=115,最终状态=false,status=0,auto_task_rules_id=178 

 INFO 2018-12-24 15:57:00 MyJob.class 56 Line 调度开始了,id=178,uuid=8e5d5ba7-badf-4a73-804d-63b7814c40bd,task_id=115 

 INFO 2018-12-24 15:57:00 RunBusiness.class 230 Line 任务是否可执行，task_id=115,最终状态=false,status=0,auto_task_rules_id=178 

 INFO 2018-12-24 15:58:00 MyJob.class 56 Line 调度开始了,id=178,uuid=8e5d5ba7-badf-4a73-804d-63b7814c40bd,task_id=115 

 INFO 2018-12-24 15:58:00 RunBusiness.class 230 Line 任务是否可执行，task_id=115,最终状态=false,status=0,auto_task_rules_id=178 

 

字符串比较/日期比较

awk '$3>"16:03:00"{print $1,$2,$3}'  error.log

 

 

awk '$3=="16:03:00"{print $1,$2,$3}'  error.log

 

awk 字符拼接

  • cat cpu.txt | awk '{print $1,$2"核"$3"G"}' 
  • i-6gdkkemx 2核2G

 

awk字符串转数字

逻辑：只需要将变量通过”+”连接运算。自动强制将字符串转为整型。非数字变成0，发现第一个非数字字符，后面自动忽略。

 

awk 'BEGIN{a="100";b="10test10";print (a+b+0);}' 

 

awk数字转为字符串

逻辑：只需要将变量与””符号连接起来运算即可。

 

awk 'BEGIN{a=100;b=100;c=(a""b);print c}'      

100100

 

awk字符串连接操作

[chengmo@centos5 ~]$ awk 'BEGIN{a="a";b="b";c=(a""b);print c}'      

ab

[chengmo@centos5 ~]$ awk 'BEGIN{a="a";b="b";c=(a+b);print c}'  

0

字符串连接操作通”二“，”+”号操作符。模式强制将左右2边的值转为 数字类型。然后进行操作。

 

 

更高级用法

 

https://www.cnblogs.com/www1707/p/5447990.html

 

参考

https://www.cnblogs.com/kaituorensheng/p/3919212.html

https://www.cnblogs.com/zhuyp1015/archive/2012/07/14/2591822.html

http://blog.51cto.com/ko178/1734417

https://www.cnblogs.com/emanlee/p/3327576.html

https://www.jb51.net/LINUXjishu/118076.html

 

多则惑少则明
关注
专栏目录
AWK
m0_67981281的博客
04-11 527
一，正则表达式 \w匹配数字、字母、下划线 egrep"roo\w"user//找roo后面是数字、字母、下划线的字符串 \s匹配空格、tab键 egrep"roo\s"user//找roo后面是1个空格或者tab键打出来的空格的字符串，如果没有 就不输出 二，sed其他指令 a行下追加i行上添加c替换整行 sed'a666'user//所有行的下面追加666 sed'1a666'user//第1行的下面追加666...
Linux基础——awk替换
热心市民王先生
03-20 1万+
Linux基础知识，awk 分段功能介绍。
Linux：awk指定输入和输出分隔符
热门推荐
liangbilin的博客
09-15 8万+
awk默认的分隔符为空格和tab。然而，实践中往往需要指定其它符号作为分隔符。 输入分隔符 输出分隔符 参考资料 awk从放弃到入门（2）：awk分隔符
linux之awk命令
weixin_41831919的博客
10-15 163
awk、sed、grep更适合的方向： grep 更适合单纯的查找或匹配文本 sed 更适合编辑匹配到的文本 awk 更适合格式化文本，对文本进行较复杂格式处理 变量：分为内置变量和自定义变量;输入分隔符FS和输出分隔符OFS都属于内置变量。 内置变量就是awk预定义好的、内置在awk内部的变量，而自定义变量就是用户定义的变量。 FS(Field Separator)：输入字段分隔符， ...
AWK使用总结(4)NR和FNR的不同
BUILD
12-26 995
NR:表示当前的记录数 FNR:表示当前记录数，但是FNR的作用域只在一个文件内.如果重新打开文件,FNR会从1开始. 当awk只处理一个文件的时候，NR和FNR是相等的。当awk处理多个文件的时候，每处理一个新的文件FNR都会从1开始重新计数直到此文件行尾，但NR是累积计数，所以最后FNR≤NR 比如，有两个文件file1.txt和file2.txt待处理 file1.txt为 aa
Linux学习——awk
加个点的博客
09-16 397
习题 awk打印奇/偶数行 /* sed实现 */ seq 10|sed -n "1~2p" seq 10|sed -n "2~2p" /* awk实现 */ seq 10|awk 'i=!i' seq 10|awk '!(i=!i)' 筛选访问量超过80的ip（） awk '{print $1}' ./access_log|sort|uniq -c|sort -nr|awk '$1...
Linux文本三剑客——awk、sed、grep
web15085599741的博客
05-14 287
文本三剑客 一、grep——文本过滤工具 二、sed——编辑器 输出符合条件的文本 删除符合条件的文本 替换符合条件的文本 迁移符合条件的文本 三、awk——报告生成器 按行输出文本 按字段输出文本 通过管道、双引号调用Shell命令 扩充 一、grep——文本过滤工具 文本过滤器（模式：pattern）工具，grep,egrep（不支持正则表达式搜索） grep [选项] 条件 目标文件 选项 作用 –color=auto 对匹配到的文本着色显示 -v 显示不被patter
linux 时间怎么求差值_linux批量计算时间差脚本——awk
weixin_42509774的博客
02-01 820
今天碰到一个时间差批量计算的问题，弄好后就写下来，方便积累和分享。部分数据(一共有40多W条，gmail.csv)如上图所示，已经做过二次处理和排版。第i行前两列时间记作A[i],后两列记作B[i],需要计算平均延迟∑(A[i]-B[i]) /I，以及最大延迟Max(A[i]-B[i])平均值：[root[root@test01 test]# awk -F '[ :-]' '{a=strftime...
Linux-awk命令详解
小白
11-05 279
awk命令详解 awk 是一种编程语言，用于在linux/nuix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大的编程工具。它在命令行中使用，但更多是作为脚本来使用。 awk 的处理文本和数据的方式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进...
AWK命令详解
weixin_30739595的博客
05-07 138
说明：awk命令和sed命令一样，也是逐行扫描文件的，从第一行到最后一行，寻找匹配特定模板的行，并在这些行上运行“选择”动作。如果一个模板没有指定动作，这些匹配的行就被显示在屏幕上。如果一个动作没有模板，所有被动作指定的行都被处理。 1、awk的基本格式： awk 'pattern' filenameawk '{action}' filenameawk 'pattern {action}' f...
linux查看日志 awk,基本常用的不得不用的强大的linux日志分析命令，值得你佣有grep "Bytespider"|awk '{print $1}'|uniq -c...
weixin_35973521的博客
05-02 322
这几天发现一个客户的服务器资源耗费很严重，造成网站特别卡。查看了日志发现了一个大量的存在的蜘蛛Bytespider,大半天的日志就有上百万条。有点夸张，怪不得很卡。这个蜘蛛之前一直存在在网站上，因为没有造成什么不好的情况，就没有理它，放任它去了，既然这次出现了问题，那肯定要处理它，这个蜘蛛不遵守robots.txt规则，那就把它的ip封了吧。写了一条语句：以下两条shell都可以达到统计出蜘蛛IP...
awk详解及使用demo
Pert的博客
12-21 771
1,$2：取第1列信息和第二列信息$NF：取最后一列$(NF-1)：取倒数第二列$0：取所有列信息。
Linux awk命令实践
专注于php高级知识分享
03-06 529
awk awk 核心价值是取列 附加作用：增，删 awk命令格式 awk [option] ‘pattern{action}’ file … awk [参数] ‘条件{动作}’ 文件… 参数选项 解释说明 -F 指定字段分隔符 * 变量名 解释 $n 当前记录的第n行 $0 当前整行记录 NF 当前记录中的列的个数，就是有多少列 ${NF-n} 倒数第n列，n为数字 NR 已经读出的记录数，就是行号，从1开始 取列的简
四、Linux awk命令详解
最新发布
m0_53741670的博客
03-15 1410
主要介绍了sed的用法、参数及用法举例；包括awk的格式说明，awk字段变量，如何查询、排除、替换指定信息；awk的高级使用方法、两个特殊模式（BEGIN和END）、内置变量以及统计算法（累加算法；求和算法）
awk 用法（使用入门）
weixin_34293141的博客
10-30 509
awk用法：awk'pattern{action}'变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号FS输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数OF...
awk命令详解
嵌入式开发，欢迎交流
11-29 827
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfred A
awk文本处理工具笔记
weixin_45846667的博客
05-24 280
awk文本处理工具笔记 前言 awk是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）的最大功能取决于一个人所拥有的知识。awk经过改进生成的新的版本nawk,gawk，现在默认linux系统下日常使用的是gawk，用命令可以查看正在应用的awk的来源（ls -l /bin/awk ），AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

多则惑少则明

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值