Linux学习-awk使用

已于 2022-05-27 06:38:29 修改
阅读量396 收藏 2
点赞数
分类专栏： Linux
于 2021-07-22 21:57:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuwenpeng/article/details/118888096
版权

awk 文本处理 报告生成 正则表达式 内置变量
关键词由CSDN通过智能技术生成

awk–报告生成工具

[root@mail ~]# which awk
/bin/awk
[root@mail ~]# ll /bin/awk
lrwxrwxrwx. 1 root root 4 Apr  6 15:45 /bin/awk -> gawk

[root@mail scripts]# vim test.txt
this is a test
[root@mail scripts]# awk '{print $1}' test.txt
this
[root@mail scripts]# awk '{print $2}' test.txt
is
[root@mail scripts]# awk '{print $0}' test.txt
this is a test
[root@mail scripts]# awk '{print $1,$2}' test.txt
this is
#指定输出分隔符
[root@mail scripts]# awk 'BEGIN{OFS="#"}{print $1,$2}' test.txt
this#is
#输出中添加指定字符串
[root@mail scripts]# awk 'BGING{OFS="#"}{print $1,"hello",$2}' test.txt
this hello is
[root@mail scripts]# awk 'BEGIN{print "Line one\nLine two\nLine three\n"}'
Line one
Line two
Line three
#-F指定分隔符
[root@mail scripts]# awk -F:  '{print$1,$2}' /etc/passwd
root x
bin x
daemon x
adm x
...

awk变量
awk内置变量之记录变量
FS：Field separator,输入分隔符默认为空白字符
RS：Record separator，输入文本信息所使用的换行符
OFS：Ouput Field separator：输出分隔符
ORS：Output Row Separator：输出行分隔符
awk内置变量之数据变量
NR：The number of input records,awk命令所处理的记录数，如果有多个文件，这个数目会把处理的多个文件行统一计数
NF：Number of field，当前记录的field个数
FNR：与NR不同的是，FNR用于记录正在处理的行是当前这一个文件中被总共处理的行数
ARGV：数组，保存命令行本身这个字符串，如awk ‘{print $0}’ a.txt b.txt这个命令中，ARGV[0]保存awk,ARGV[1]保存a.txt
ARGC：awk命令的参数的个数
FILENAME：awk命令所处理的文件的名称
ENVIRON：当前shell环境变量及其值的关联数组，如awk ‘BEGIN{print ENVIRON[“PATH”]}’

[root@mail scripts]# awk 'BEGIN{print ENVIRON["PATH"]}'
/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/apache/bin:/usr/local/mysql/bin:/usr/local/python3/bin:/root/bin
[root@mail scripts]# awk '{print NF}' test.txt
4
[root@mail scripts]# awk '{print $NF}' test.txt
test

awk用户自定义变量
gawk允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多数编程语言相同，只能使用字母、数字和下划线，且不能以数字开头，gawk变量名称区别字符大小写。
注：在awk中打印变量不需要使用$

#在脚本中赋值变量
[root@mail scripts]# awk 'BEGIN{var="this is a test page";print var}'
this is a test page
#在命令行中使用赋值变量
[root@mail scripts]# awk -v var="this is a main page" 'BEGIN{print var}'
this is a main page

prinf
printf format item1,item2…
注：
与print命令的最大不同是printf需要指定format
format用于指定后面的每个item的输出格式
printf语句不会自动打印换行符：\n
format格式的指示符以%开头，后跟一个字符
%c：显示字符的ASCII码
%d,%i：十进制整数
%e,%E：科学计数法显示数值
%f：显示浮点数
%g,%G：以科学计数法的格式或浮点数的格式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身

修辞符：
N：显示宽度
-：左对齐
+：显示数值符号

#通过数字显示宽度
[root@mail ~]# awk 'BEGIN{printf "%10s\n","a"}'
         a
[root@mail ~]# awk -F: '{printf "%5d\n",$3}' /etc/passwd
    0
    1
    2
    3
... ...

算术运算符：
-x：负值
+x：转换为数值
x^y：次方
x**y：次方
x*y：乘法
x/y：除法
x+y：加法
x-y：减法
x%y：取余

[root@mail ~]# awk 'BEGIN{printf 5^2"\n"}'
25
[root@mail ~]# awk 'BEGIN{printf 5**2"\n"}'
25
[root@mail ~]# awk 'BEGIN{printf 5%2"\n"}'
1

字符串连接

[root@mail ~]# awk 'BEGIN{a="hello";b="edison";printf a" "b "\n"}'
hello edison

赋值运算符

+=
-=
*=
/=
%=
^=
**=

–
注：如果某模式为号，此时使用//会有语法错误，应以/[*]/来替代

[root@mail ~]# awk 'BEGIN{a=10;b=1;printf a+=b "\n"}'
11
[root@mail ~]# awk 'BEGIN{a=10;b=1;printf a+=b"\n"}'
11
[root@mail ~]# awk 'BEGIN{a=10;b=1;printf a-=b"\n"}'
9
[root@mail ~]# awk 'BEGIN{a=10;b=1;printf a++"\n"}'
10
[root@mail ~]# awk 'BEGIN{a=10;b=1;printf a*=b"\n"}'
10

布尔表达式
x<y
x<=y
x>y
x>=y
x==y x是否等于y
x!=y x不等于y
x~y x匹配正则y
x!~y x不匹配正则y
subscript in array subscript在array数组中

表达式间的逻辑关系
&&
||
条件表达式
selector?if-true-exp:if-false-exp

[root@mail ~]# awk 'BEGIN{a=10;b=1;c = a>b ? a : b;printf c "\n"}'
10

函数调用
function_name(para1,para2…)
awk模式
awk ‘pogram’ input-file1 input-file2…
其中的program为
pattern { action }
pattern { action }
…
常见的模式
Regexp：正则表达式，格式为/regular_expression/
expression：表达式，其值非0或为非空字符时满足条件，如：$1 ~ /foo/ 或$1 ==“tye”,用运算符(匹配)和!(不匹配)
Ranges：指定的匹配范围，格式为pat1,pat2
BEGIN/END：特殊模式，仅在awk命令执行前运行一次或结束前运行一次
Empty(空模式)：匹配任意输入行
常见的Action
Expressions：
Control statements
Compound statements
Input Statements
Output statements
/正则表达式/：使用通配符的扩展集
关系表达式：可以用下面运算符表中的关系运行符进行操作，可以是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行
模式匹配表达式
模式模式：指定一个行的范围，该语法不能包括BEGIN和END模式
BEGIN：让用户指定在第一条输入记录被处理之前所发生的运行，通常可在这里设置全局变量
END：让用户在最后一条输入记录被读取之后发生的动作

#通过正则匹配只显示/etc/passwd文件中以r开头行的用户名
[root@mail ~]# awk -F: '/^r/{print $1}' /etc/passwd
root
rpc
rpcuser
#显示/etc/passwd文件中ID号大于等于500的用户名和ID号
[root@mail ~]# awk -F: '$3>=500 {print $1,$3}' /etc/passwd
postfix 2525
postdrop 2526
hadoop 2527
test 2528
vsftp 2529
nfsnobody 65534
sambauser 2530
#显示/etc/passwd中shell为bash的用户
[root@mail ~]# awk -F: '/bash$/{print $1,$7}' /etc/passwd
root /bin/bash
mysql /bin/bash
hadoop /bin/bash
test /bin/bash
sambauser /bin/bash
[root@mail ~]# awk -F: '$7~"bash$"{print $1,$7}' /etc/passwd
root /bin/bash
mysql /bin/bash
hadoop /bin/bash
test /bin/bash
sambauser /bin/bash
#查找uid为0，且shell为bash的用户
[root@mail ~]# awk -F: '$3==0,$7~"bash$"{print $1}' /etc/passwd
root
[root@mail ~]# awk -F: '$3==0,$7~"nologin"{print $1,$7}' /etc/passwd
root /bin/bash
bin /sbin/nologin
#打印表头
[root@mail ~]# awk -F: 'BEGIN{print "UserName    Shell"}{printf "%-10s%-10s\n",$1,$7}' /etc/passwd
UserName    Shell
root      /bin/bash 
bin       /sbin/nologin
... ...
#打印表头和表尾
[root@mail ~]# awk -F: 'BEGIN{print "UserName    Shell"}{printf "%-10s%-10s\n",$1,$7}END{print "End of the report"}' /etc/passwd
UserName    Shell
root      /bin/bash 
bin       /sbin/nologin
daemon    /sbin/nologin
... ...
End of the report
#awk条件判断语句
[root@mail ~]# awk -F: '{if ($1=="root") print $1,"is administrator";else print $1,"Common User"}' /etc/passwd
root is administrator
bin Common User
daemon Common User
... ...
[root@mail ~]# awk -F: '{if($1=="root") printf "%-15s:%s\n",$1,"admin";else printf "%-15s:%s\n",$1,"Common User"}' /etc/passwd
root           :admin
bin            :Common User
daemon         :Common User
adm            :Common User
... ...
#统计ID大于500的人数
[root@mail ~]# awk -F: -v sum=0 '{if ($3>=500) sum++} END{print "it has "sum" user id>500"}' /etc/passwd
it has 7 user id>500
#输出字段大于4个字符的信息--while
[root@mail ~]# awk -F: '{i=1;while(i<=NF) {if(length($i)>=4) {print $i} i++}}' /etc/passwd
root
root
/root
/bin/bash
... ...
#awk --for循环
[root@mail ~]# awk -F: '{for(i=1;i<=NF;i++) {if(length($i)>=4) print $i }}' /etc/passwd
root
root
/root
/bin/bash
... ...
#统计Shell的数量
[root@mail ~]# awk -F: '{shell[$NF]++}END{for(A in shell) {print A,shell[A]}}' /etc/passwd
/sbin/shutdown 1
/bin/bash 5
/sbin/nologin 26
/sbin/halt 1
/bin/sync 1
#统计tcp连接状态值
[root@mail ~]# netstat -tan | grep 'tcp' | awk '{foreign[$NF]++}END{for(i in foreign) {print i,foreign[i]}}'
ESTABLISHED 1
LISTEN 12
[root@mail ~]# netstat -tan | awk '/^tcp/{foreign[$NF]++}END{for(i in foreign) {print i,foreign[i]}}'
ESTABLISHED 1
LISTEN 12
#统计httpd服务器的客户端访问情况
[root@mail tye]# awk '{accessip[$1]++}END{for(i in accessip) {printf "%-18s %s\n",i,accessip[i]}}' access_log 
127.0.0.1          141350
192.168.0.105      62
192.168.88.1       326
::1                1
192.168.88.137     3
丢爸
关注
专栏目录
Linux命令---awk学习
qq_44534541的博客
11-28 165
演示文档：cions.txt gold 1 1986 USA American Eagle gold 1 1908 Austria-Hungary Franz josef 100 Korona silver 10 1981 USA ingot gold 1 1984 Switzerland ingot gold 1 1979 RSA Krugerrand gold 0.5 1981 RSA Krugerrand gold 0.1 1986 PR
最牛逼的Linux awk命令详细介绍和实例快速学习
04-25
最牛逼的Linux awk命令详细介绍和实例快速学习
linux命令 awk学习
u013296766的博客
03-16 538
我们在面试中经常被问到的Linux命令 就都会包括awk命令的使用，下面我向大家总结awk命令的详细使用。希望能给大家一些帮助。          在国内很多大型公司面试后台程序员的时候无一例外都会问到下面这个题目           “请统计某个apache或者nginx 内的log文件，并求出里面IP数的top10”           当然，这个问题不仅仅可以用awk来回答，当然可以用
awk中自定义函数
Melgards的博客
09-20 397
通常函数的定义放在一个文件里。在awk主体程序中调用函数。函数的定义可以出现在任何位置。但是通常放在模式、动作之前。
awk 如何调用Linux函数,awk-语法深入-用户自定义函数
weixin_34342091的博客
05-07 270
- 自定义函数格式awk 自定义函数获取参数，选择性的返回标量值，函数可以在程序的顶层任意位置定义。自定义格式为：function name(arg1,arg2,....argn){statement(s)}在自定义的函数中，指定的参数被当作局部变量，他们会隐藏任何同名的全局性变量。调用函数的格式：function(expr1，expr2，...)# 忽略任何返回值result=function(...
linux中awk命令(最全面秒懂）
最新发布
一个懒鬼的博客
12-05 2万+
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符linux中有三剑客之称：三剑客之首就是 AWK三剑客功能:grep ： 过滤文本sed : 修改文本awk : 处理文本$0 : 代表当前行(相当于匹配所有)$n : 代表第n列案例1:(以:为分隔符)案例2:(默认空格为分隔符)
linux-awklinux-awk
08-10
### Linux Awk 学习指南 #### 1. Awk 简介 Awk 是一种专门设计用于处理文本和数据的编程语言，主要用于 Linux/Unix 操作系统中。它可以处理来自标准输入、一个或多个文件，甚至是其他命令的输出结果。Awk 支持高级...
Vim-101-hacks、Sed-and-Awk-101-Hacks、Linux-101-hacks 英文版（高清）PDF
01-29
"Sed-and-Awk-101-Hacks"可能包含如何使用基本的sed命令，如替换、删除、插入行，以及使用地址范围进行特定操作。此外，还可能涉及正则表达式在sed中的应用，如查找和替换模式，以及使用sed进行批量文本编辑。 3. ...
sed-awk-cheatsheet：您可以使用sed和awk做的事情
01-31
`sed-awk-cheatsheet-master` 可能包含了各种示例和使用场景，帮助用户快速理解和应用 `sed` 和 `awk` 的功能。通过学习这些示例，你可以更好地掌握这两个工具，从而在文本处理任务中游刃有余。 总之，`sed` 和 `...
一天一个shell命令 linux文本内容操作系列-awk命令详解
09-15
`awk` 是一个强大的文本分析工具，主要用于处理和分析Linux系统中的文本文件。与`grep`的搜索功能和`sed`的编辑功能相比，`awk`在数据分析和报告生成方面...通过学习和熟练掌握`awk`，你可以更高效地处理大量文本数据。
awk linux 命令,Linux的awk命令简单操作
weixin_30713183的博客
04-28 465
awk是一个编程工具，他有完整的语法和命令。在bash中，awk更多的用于处理列内容(我是这么认为的，仅供参考)awk程序的执行逻辑首先将文本内容读入到内存中，根据字段分隔符，在读取文本内容的过程中把读入的内容分段，第一个字段对应$1，第二个字段对应$2，依次类推，$0代表所有的字段。注意：1、在awk程序中，变量的使用不需要带$符号，因为$符号表示字段。2、整个执行语句必须被'{}'包裹。3、a...
awk基础05-自定义函数和脚本
10-24 158
    在之前文章中，我们都是在命令行中写一些简短的awk命令，而awk做为一门解释型语言，一样是支持脚本运行的。 基本语法 #!/bin/awk -f # 注释 awk 脚本体 #!:同shell，约定格式 /bin/awk:采用的解释器位置 -f：awk选项，代表从文件中读取程序文件 #：同shell，除第一行的#以外，其他均代表为注释内容 脚本示例 1、第一个示例 [root@...
linux下常用查看Apache状态语句
weixin_34391445的博客
06-02 215
收集linux下查看常用apache状态语句：1、查看Apache的并发请求数及其TCP连接状态： netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'返回结果一般如下： SYN_RECV 28 CLOSE_WAIT 1 TIME_WAIT 9 ESTABLISHED 4 ...
Linux学习之awk函数
qq_42108074的博客
08-13 241
自定义函数需要在BEGIN例程之前进行定义，然后可以在BEGIN例程、主输入循环和END例程都可以使用。定义了一个sum函数，返回两个数的值。此文章为8月Day 13学习笔记，内容来源于极客时间《Linux 实战技能 100 讲》。
文本处理三剑客---awk
ljh451321的博客
03-11 844
文章目录awk工具一、awk工具介绍二、awk基本使用1、print操作2、printf操作三、awk常用内置变量四、awk自定义变量五、awk常用文本处理模式六、awk条件判断1、语法七、awk循环1、for循环语法八、awk数组1、定义数组2、获取数组中所有数据3、数组支持以任意数据作为下标九、awk的内置函数 awk工具 一、awk工具介绍 工作流程 默认情况下，awk可以使用空白字符分割文本，awk内部可以分别$1,$2变量代表第一段内容 -F 指定分隔符 逐行处理 作用nm 显示文
awk命令
void的博客
12-04 5230
​awk是一个强大的文本处理工具。awk把文件逐行的读入，一行叫一条记录，以空格为分隔符将每行切片，切开的部分叫域或者列或者字段，然后处理各个字段。awk有3个不同版本：awk、nawk、gawk。未作特别说明，一般指gawk，gawk是AWK的GNU版本。awk其名称源自它的创始人Alfred Aho 、Peter Weinberger和Brian Kernighan姓氏的首个字母。
Awk学习笔记
边城浪子
11-01 640
Awk学习笔记 看到前辈的飞快的用awk工具从一堆字符串中切出想要的数据，很是羡慕...可能是对脚本接触太少，脚本调试又非常困难，以前总不能深入的理解shell的相关命令，今天潜下心来，在学习awk上下来不少功夫，略有收获，记录如下： 1.  awk命令格式man awk出来的英文太恶心，内容也不好练习。网上搜索了不少资料，也不断的实践，总结如下：awk [命令] ‘[BE
AWK详解
wq1205750492的博客
04-29 1万+
awk详解与使用
Linux中awk命令的使用
lgc646300052的博客
06-12 455
awk命令语法 awk 参数 '{要执行的操作}' filename 参数 含义 -F 分割字符串 要执行的操作里面可以使用if, for, 正则表达式 awk内置变量 变量 含义 NR 当前行号 NF 当前行分隔出了多少列 示例 普通打印 awk -F ',' '{print $1}' debug.log -F ‘,’ 表示每一行用逗号分隔 ‘{print $1}’ 表示打印出每行的第一列 带格式的打印 awk -F ',' '{printf("%s\n
Linux学习：AWK命令详解与基础操作
Linux学习教程的这一部分强调了AWK在文本处理中的重要性，提供了学习AWK基础知识的途径。通过深入理解和实践AWK，Linux用户可以更有效地管理和分析系统日志、配置文件等大量文本数据，从而提升系统管理的效率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值