Linux进阶_文本处理工具AWK

最新推荐文章于 2021-12-31 17:59:05 发布
最新推荐文章于 2021-12-31 17:59:05 发布
阅读量445 收藏 1
点赞数
分类专栏： # Linix进阶 文章标签： linux centos 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46238755/article/details/106333475
版权

成功不易，加倍努力！

文本处理三剑客之 awk

1 awk 工作原理和基本用法说明

awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出，GNU/Linux发布的AWK目前由自由软件基金会（FSF）进行开发和维护，通常也称它为 GNU AWK

有多种版本：

  • AWK：原先来源于 AT & T 实验室的的AWK
  • NAWK：New awk，AT & T 实验室的AWK的升级版
  • GAWK：即GNU AWK。所有的GNU/Linux发布版都自带GAWK，它与AWK和NAWK完全兼容

gawk：模式扫描和处理语言，可以实现下面功能

  • 文本处理
  • 输出格式化的文本报表
  • 执行算数运算
  • 执行字符串操作

格式：

awk [options]  'program' var=value  file…
awk [options]  -f programfile  var=value file…

说明：
program通常是被放在单引号中，并可以由三种部分组成

  • BEGIN语句块
  • 模式匹配的通用语句块
  • END语句块

常见选项：

  • -F “分隔符” 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符
  • -v var=value 变量赋值

Program格式：

pattern{action statements;..}

pattern：决定动作语句何时触发及触发事件，比如：BEGIN,END,正则表达式等
action statements：对数据进行处理，放在{}内指明，常见：print, printf

awk 工作过程
在这里插入图片描述
第一步：执行BEGIN{action;… }语句块中的语句

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

第三步：当读至输入流末尾时，执行END{action;…}语句块

  • BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
  • END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
  • pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

分割符、域和记录

  • 由分隔符分隔的字段（列column,域field）标记$1,$2...$n称为域标识，$0为所有域，注意：和shell中变量$符含义不同
  • 文件的每一行称为记录record
  • 如果省略action，则默认执行 print $0 的操作

常用的action分类

  • output statements：print,printf
  • Expressions：算术，比较表达式等
  • Compound statements：组合语句
  • Control statements：if, while等
  • input statements

awk控制语句

  • { statements;… } 组合语句
  • if(condition) {statements;…}
  • if(condition) {statements;…} else {statements;…}
  • while(conditon) {statments;…}
  • do {statements;…} while(condition)
  • for(expr1;expr2;expr3) {statements;…}
  • break
  • continue
  • exit
2 动作 print

格式：

print item1, item2, ...

说明：

  • 逗号分隔符
  • 输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式
  • 如省略item，相当于print $0
  • 固定字符符需要用 " " 引起来，而变量和数字不需要

范例：

[root@centos8-B ~]#awk '{print "hello awk"}'
hi
hello awk
wow
hello awk
[root@centos8-B ~]#seq 10 |awk '{print "hello,awk"}'
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk
[root@centos8-B ~]#seq 3 |awk '{print 2*3}'
6
6
6
[root@centos8-B ~]#awk -F: '{print "cui"}' /etc/passwd
[root@centos8 ~]#awk -F: '{print}' /etc/passwd
[root@centos8 ~]#awk -F: '{print $0}' /etc/passwd
[root@centos8 ~]#awk -F: '{print $1,$3}' /etc/passwd
[root@centos8 ~]#awk -F: '{print $1"\t"$3}' /etc/passwd

[root@centos8-B ~]#grep "^UUID" /etc/fstab |awk {'print $2,$3'}
/ xfs
/boot ext4
/date xfs
swap swap

面试题：取出网站访问量最大的前3个IP

[root@centos8-B ~]#awk '{print $1}' access_log |sort |uniq -c |sort -nr |head -3
   4870 172.20.116.228
   3429 172.20.116.208
   2834 172.20.0.222
[root@centos8-B ~]#awk '{print $1}' access_log |sort |uniq -c |sort -nr |head
   4870 172.20.116.228
   3429 172.20.116.208
   2834 172.20.0.222
   2613 172.20.112.14
   2267 172.20.0.227
   2262 172.20.116.179
   2259 172.20.65.65
   1565 172.20.0.76
   1482 172.20.0.200
   1110 172.20.28.145

面试题：取出分区利用率

[root@centos8-B ~]#df  |awk '{print $1,$5}'
Filesystem Use%
devtmpfs 0%
tmpfs 0%
tmpfs 1%
tmpfs 0%
/dev/sda2 11%
/dev/sda5 1%
/dev/sda1 19%
tmpfs 1%

#使用扩展的正则表达式
[root@centos8-B ~]#df  |awk -F"[[:space:]]++|%" '{print $5}'
Use
0
0
1
0
11
1
19
1
[root@centos8-B ~]#df  |awk -F"[[:space:]]++|%" '{print $1,$5}'
Filesystem Use
devtmpfs 0
tmpfs 0
tmpfs 1
tmpfs 0
/dev/sda2 11
/dev/sda5 1
/dev/sda1 19
tmpfs 1
[root@centos8-B ~]#df  |awk -F" ++|%" '{print $1,$5}'
Filesystem Use
devtmpfs 0
tmpfs 0
tmpfs 1
tmpfs 0
/dev/sda2 11
/dev/sda5 1
/dev/sda1 19
tmpfs 1

[root@centos8-B ~]#df |grep '^/dev/sd' |awk -F" ++|%" '{print $1,$5}'
/dev/sda2 11
/dev/sda5 1
/dev/sda1 19
[root@centos8-B ~]#df |grep '^/dev/sd' |awk -F" ++|%" '{print $5}'
11
1
19

[root@centos8-B ~]#df  |awk -F" ++|%" '/^\/dev\/sd/{print $1,$5}'
/dev/sda2 11
/dev/sda5 1
/dev/sda1 19
[root@centos8-B ~]#df  |awk -F" ++|%" '/^\/dev\/sd/{print $5}'
11
1
19

面试题：取 ifconfig 输出结果中的IP地址

[root@centos8-B ~]#ifconfig eth0 |awk '/netmask/{print $2}'
10.0.0.10
[root@centos6 ~]#ifconfig eth0 |awk -F" +|:" '/Mask/{print $4}'
10.0.0.6

[root@centos8-B ~]#ifconfig eth0 |sed -rn "2s/^[^0-9]+([0-9.]+) .*$/\1/p"
10.0.0.10
[root@centos6 ~]#ifconfig eth0 |sed -rn "2s/^[^0-9]+([0-9.]+) .*$/\1/p"
10.0.0.6

面试题：文件host_list.log 如下格式，请提取”.magedu.com”前面的主机名部分并写入到回到该文件中

[root@centos8-B ~]#cat host_list.log
1 www.magedu.com
2 blog.magedu.com
3 study.magedu.com
4 linux.magedu.com
5 python.magedu.com
[root@centos8-B ~]#awk -F"[ .]" '{print $2}' host_list.log
www
blog
study
linux
python
[root@centos8-B ~]#awk -F"[ .]" '{print $2}' host_list.log >> host_list.log
[root@centos8-B ~]#cat host_list.log
1 www.magedu.com
2 blog.magedu.com
3 study.magedu.com
4 linux.magedu.com
5 python.magedu.com
www
blog
study
linux
python
3 awk变量

awk中的变量分为：内置和自定义变量

常见的内置变量

FS：输入自动分隔符，默认为空白字符；
OFS：输出自动分隔符，默认为空白字符；
RS：输入记录分隔符，指定输入时的换行符，原换行符仍有效；
ORS：输出记录分隔符，输出时用指定符号代替换行符；
NF：字段数量；
NR：行号；
FNR：各文件分别计数，记录号；
FILENAME：当前文件名；
ARGC：命令行参数的个数；
ARGV：数组，保存的是命令行所给定的各参数。

  • FS：输入字段分隔符，默认为空白字符,功能相当于 -F

范例：

awk -v FS=':' '{print $1,FS,$3}' /etc/passwd
awk -v FS=":" '{print $1FS$3}' /etc/passwd
awk -F: '{print $1,$3,$7}' /etc/passwd

S=:;awk -v FS=$S '{print $1FS$3}' /etc/passwd

[root@centos8-B ~]#awk -v FS=":" '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2

[root@centos8-B ~]#S=:;awk -v FS=$S '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2

#-F 和 FS变量功能一样，同时使用会冲突
[root@centos8-B ~]#awk -v FS=":" -F";" '{print $1FS$3}' /etc/passwd |head -n3
root:x:0:0:root:/root:/bin/bash;
bin:x:1:1:bin:/bin:/sbin/nologin;
daemon:x:2:2:daemon:/sbin:/sbin/nologin;
[root@centos8-B ~]#awk -F";" -v FS=":" '{print $1FS$3}' /etc/passwd |head -n3
root:0
bin:1
daemon:2
  • OFS：输出字段分隔符，默认为空白字符

范例：

[root@centos8-B ~]#awk -v FS=":" '{print $1,$3,$7}' /etc/passwd |head -n1
root 0 /bin/bash

[root@centos8-B ~]#awk -v FS=":" -v OFS=":" '{print $1,$3,$7}' /etc/passwd |head -n1
root:0:/bin/bash
  • RS：输入记录record分隔符，指定输入时的换行符

范例：

awk -v RS=' ' '{print }' /etc/passwd
  • ORS：输出记录分隔符，输出时用指定符号代替换行符

范例：

awk -v RS=' ' -v ORS='###' '{print $0}' /etc/passwd
  • NF：字段数量

范例：

#引用变量时，变量前不需加$
[root@centos8-B ~]#awk -F: '{print NF}' /etc/fstab
[root@centos8-B ~]#awk -F: '{print $(NF-1)}' /etc/passwd
[root@centos8-B ~]#ls /mnt/BaseOS/Packages/*.rpm |awk -F"." '{print $(NF-1)}' |sort |uniq -c
    389 i686
    208 noarch
   1060 x86_64

面试题：连接数最多的前3个IP

[root@centos8-B ~]#awk -F" +|:" '{print $(NF-2)}' ss.log |sort |uniq -c |sort -nr |head -n3
     44 127.0.0.1
     10 113.234.28.244
      8 124.64.18.135
[root@centos8-B ~]#awk -F" +|:" '/^ESTAB/{print $(NF-2)}' ss.log |sort |uniq -c |sort -nr |head -n3
     44 127.0.0.1
     10 113.234.28.244
      8 124.64.18.135

[root@centos8-B ~]#ss -nt |grep "^ESTAB" |awk -F"[[:space:]]+|:" '{print $(NF -2)}'
10.0.0.1
10.0.0.7
10.0.0.1
[root@centos8-B ~]#ss -nt |awk -F"[[:space:]]+|:" '/^ESTAB/{print $(NF -2)}'
10.0.0.1
10.0.0.7
10.0.0.1

[root@centos8-B ~]#ss -nt |awk -F: '{print $(NF -1)}' |awk '/^[0-9]/{print $NF}' |sort |uniq -c |head -n3
      2 10.0.0.1

范例：每十分钟检查将连接数超过100个以上的IP放入黑名单拒绝访问

[root@centos8 ~]#cat deny_dos.sh
LINK=100
while true;do
	ss -nt | awk -F"[[:space:]]+|:" '/^ESTAB/{print $(NF-2)}'|sort |uniq - c|while read count ip;do 
		if [ $count -gt $LINK ];then
			iptables -A INPUT -s $ip -j REJECT
		fi
	done
done
[root@centos8 ~]#chmod +x /root/deny_dos.sh
[root@centos8 ~]#crontab -e
[root@centos8 ~]#crontab -l 
*/10 * * * *   /root/deny_dos.sh

范例：

[root@centos8 ~]#cat deny_dos.sh
IPLIST=`awk -F" +|:" '/^ESTAB/{print $(NF-2)}' ss.log |sort |uniq -c|sort -
nr|head -3|awk '{print $2}'`
for ip in $IPLIST;do
	iptables -A INPUT -s $ip -j REJECT
done
  • NR：记录的编号

范例：

[root@centos8-B ~]#awk '{print NR,$0}' /etc/issue /etc/centos-release
1 \S
2 Kernel \r on an \m
3 
4 CentOS Linux release 8.0.1905 (Core)

范例：取ifconfig输出结果中的IP地址

[root@centos8-B ~]#ifconfig eth0 |awk '/netmask/{print $2}'
10.0.0.10
[root@centos8-B ~]#ifconfig eth0 |awk 'NR==2{print $2}'
10.0.0.10

范例：

[root@centos8 ~]#awk -F: '{print NR}' /etc/passwd
123
......
[root@centos8 ~]#awk -F: 'END{print NR}' /etc/passwd
57
[root@centos8 ~]#awk -F: 'BEGIN{print NR}' /etc/passwd
0
  • FNR：各文件分别计数，记录的编号

范例：

awk '{print FNR}' /etc/fstab /etc/inittab

[root@centos8-B ~]#awk '{print NR,$0}' /etc/issue /etc/redhat-release 
1 \S
2 Kernel \r on an \m
3 
4 CentOS Linux release 8.0.1905 (Core) 
[root@centos8-B ~]#awk '{print FNR,$0}' /etc/issue /etc/redhat-release 
1 \S
2 Kernel \r on an \m
3 
1 CentOS Linux release 8.0.1905 (Core)
  • FILENAME：当前文件名

范例：

[root@centos8-B ~]#awk '{print FILENAME}' /etc/issue 
/etc/issue
/etc/issue
/etc/issue

[root@centos8-B ~]#awk '{print FNR,FILENAME,$0}' /etc/issue /etc/redhat-release 
1 /etc/issue \S
2 /etc/issue Kernel \r on an \m
3 /etc/issue 
1 /etc/redhat-release CentOS Linux release 8.0.1905 (Core)
  • ARGC：命令行参数的个数

范例：

[root@centos8-B ~]#awk '{print ARGC}' /etc/issue /etc/redhat-release
3
3
3
3
[root@centos8-B ~]#awk 'BEGIN{print ARGC}' /etc/issue /etc/redhat-release
3
  • ARGV：数组，保存的是命令行所给定的各参数，每一个参数：ARGV[0]，…

范例：

[root@centos8 ~]#awk 'BEGIN{print ARGV[0]}' /etc/issue /etc/redhat-release 
awk
[root@centos8 ~]#awk 'BEGIN{print ARGV[1]}' /etc/issue /etc/redhat-release 
/etc/issue
[root@centos8 ~]#awk 'BEGIN{print ARGV[2]}' /etc/issue /etc/redhat-release 
/etc/redhat-release
[root@centos8 ~]#awk 'BEGIN{print ARGV[3]}' /etc/issue /etc/redhat-release

[root@centos8 ~]#

自定义变量(区分字符大小写)

  • -v var=value
  • 在program中直接定义

范例：

[root@centos8-B ~]#awk -F: -v name='username:' '{print name,$1}' awktest.txt
username: root
username: bin
username: daemon
username: adm
username: lp
username: sync
username: shutdown
username: halt
username: mail
username: operator
[root@centos8-B ~]#awk  -v test='hello gawk' '{print test}' /etc/fstabhello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
hello gawk
[root@centos8-B ~]#awk  -v test='hello gawk' 'BEGIN{print test}'
hello gawk
[root@centos8-B ~]#awk  'BEGIN{test="hello,gawk";print test}'
hello,gawk

[root@centos8-B ~]#awk  -F: '{sex="male";print $1,sex,age;age=18}' awktest.txt 
root male 
bin male 18
daemon male 18
adm male 18
lp male 18
sync male 18
shutdown male 18
halt male 18
mail male 18
operator male 18


[root@centos8-B ~]#echo '{name="mmagedu";age=20;print name,$1,age}' > awkscript
[root@centos8-B ~]#cat awkscript
{name="mmagedu";age=20;print name,$1,age}
[root@centos8-B ~]#awk -F: -f awkscript awktest.txt 
mmagedu root 20
mmagedu bin 20
mmagedu daemon 20
mmagedu adm 20
mmagedu lp 20
mmagedu sync 20
mmagedu shutdown 20
mmagedu halt 20
mmagedu mail 20
mmagedu operator 20

cat awkscript
{print script,$1,$2}
awk  -F: -f awkscript script="awk" /etc/passwd
4 动作 printf

printf 可以实现格式化输出

格式：

printf “FORMAT”, item1, item2, ...

说明：

  • 必须指定FORMAT
  • 不会自动换行，需要显式给出换行控制符 \n
  • FORMAT中需要分别为后面每个item指定格式符

格式符：与item一一对应

  • %c：显示字符的ASCII码
  • %d, %i：显示十进制整数
  • %e, %E：显示科学计数法数值
  • %f：显示为浮点数
  • %g, %G：以科学计数法或浮点形式显示数值
  • %s：显示字符串
  • %u：无符号整数
  • %%：显示%自身

修饰符

#[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度，如：%3.1f
- 左对齐（默认右对齐） 如：%-15s
+   显示数值的正负符号   如：%+d

范例：

awk -F:   '{printf "%s",$1}' /etc/passwd
awk -F:   '{printf "%s\n",$1}' /etc/passwd
awk -F:   '{printf "%20s\n",$1}' /etc/passwd
awk -F:   '{printf "%-20s\n",$1}' /etc/passwd
awk -F:   '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
awk -F:   '{printf "Username: %s\n",$1}' /etc/passwd
awk -F:   '{printf “Username: %sUID:%d\n",$1,$3}' /etc/passwd
awk -F:   '{printf "Username: %25sUID:%d\n",$1,$3}' /etc/passwd
awk -F:   '{printf "Username: %-25sUID:%d\n",$1,$3}' /etc/passwd

[root@centos8-B ~]#awk -F: '{printf "%20s %10d\n",$1,$3}' awktest.txt                 root          0
                 bin          1
              daemon          2
                 adm          3
                  lp          4
                sync          5
            shutdown          6
                halt          7
                mail          8
            operator         11
[root@centos8-B ~]#awk -F: '{printf "%-20s %10d\n",$1,$3}' awktest.txt 
root                          0
bin                           1
daemon                        2
adm                           3
lp                            4
sync                          5
shutdown                      6
halt                          7
mail                          8
operator                     11

#以冒号为分隔符，每行输出”username:第一个字段“，然后换行
[root@centos8-B ~]#awk -F: '{printf "username:%s\n",$1}' awktest.txt 
username:root
username:bin
username:daemon
username:adm
username:lp
username:sync
username:shutdown
username:halt
username:mail
username:operator

#以冒号为分隔符，每行输出”username:第一个字段，左对齐，占20个宽度，UID:第三个字段“，然后换行
[root@centos8-B ~]#awk -F: '{printf "username:%-20s uid:%d\n",$1,$3}' awktest.txt 
username:root                 uid:0
username:bin                  uid:1
username:daemon               uid:2
username:adm                  uid:3
username:lp                   uid:4
username:sync                 uid:5
username:shutdown             uid:6
username:halt                 uid:7
username:mail                 uid:8
username:operator             uid:11
5 操作符

算术操作符：

x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值

字符串操作符：没有符号的操作符，字符串连接

赋值操作符：

=：右边赋值给左边
+=：先加，再赋值
-=：先减，再赋值
*=：先乘，再赋值
/=：先除，再赋值
%=：先取余，再赋值
^=：先幂运算，再赋值
++：递增操作
--：递减操作

范例：

[root@centos8 ~]#awk 'BEGIN{i=0;print i++,i}'   #先赋值再加
0 1
[root@centos8 ~]#awk 'BEGIN{i=0;print ++i,i}'   #先加再赋值
1 1

范例：

[root@centos8 ~]#awk -v n=0 '!n++' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@centos8 ~]#awk -v n=0 '!n++{print n}' /etc/passwd
1
[root@centos8 ~]#awk -v n=1 '!n++{print n}' /etc/passwd
[root@centos8 ~]#awk -v n=0 '!++n{print n}' /etc/passwd
[root@centos8 ~]#awk -v n=0 '!++n' /etc/passwd
[root@centos8 ~]#awk -v n=-1 '!++n' /etc/passwd
root:x:0:0:root:/root:/bin/bash

比较操作符：

 ==：判断相等
 !=：判断不等
 \>：判断大于
 \>=：判断大于等于
 <：判断小于
 <=：判断小于等于

范例：

[root@centos8 ~]#awk 'NR==2' /etc/issue
Kernel \r on an \m
[root@centos8 ~]#awk -F: '$3>=1000' /etc/passwd
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
wang:x:1000:1000:wang:/home/wang:/bin/bash
mage:x:1001:1001::/home/mage:/bin/bash

范例：取奇，偶数行

[root@centos8 ~]#seq 10 | awk 'NR%2==0'
2
4
6
8
10
[root@centos8 ~]#seq 10 | awk 'NR%2==1'
1
3
5
7
9
[root@centos8 ~]#seq 10 | awk 'NR%2!=0'
1
3
5
7
9

模式匹配符：

~ 左边是否和右边匹配，包含关系
!~ 是否不匹配

范例：

[root@centos8-B ~]#awk -F: '$0 ~ /root/{print $0}' awktest.txt 
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@centos8-B ~]#awk -F: '$0 !~ /root/{print $0}' awktest.txt 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

[root@centos8 ~]#awk -F: '$0 ~ "^root"{print $1}' /etc/passwd
root
[root@centos8 ~]#awk '$0 !~ /root/'   /etc/passwd

[root@centos8 ~]#awk '/root/'   /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

[root@centos8 ~]#awk -F: '$3==0'     /etc/passwd
root:x:0:0:root:/root:/bin/bash

[root@centos8 ~]#df | awk -F"[[:space:]]+|%" '$0 ~ /^\/dev\/sd/{print $5}'
11
1
19

[root@centos8 ~]#ifconfig eth0 | awk 'NR==2{print $2}'
10.0.0.8

逻辑操作符：

与：&&，并且关系
或：||，或者关系
非：!，取反

范例：！取反

[root@centos8 ~]#awk 'BEGIN{print i}'
[root@centos8 ~]#awk 'BEGIN{print !i}'
1
[root@centos8 ~]#awk -v i=10 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i=-3 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i=0 'BEGIN{print !i}'
1
[root@centos8 ~]#awk -v i=abc 'BEGIN{print !i}'
0
[root@centos8 ~]#awk -v i='' 'BEGIN{print !i}'
1

[root@centos8-B ~]#seq 10 |awk 'i=!i'
1
3
5
7
9
[root@centos8-B ~]#seq 10 |awk '!(i=!i)'
2
4
6
8
10

范例：

awk -F:   '$3>=0 && $3<=1000 {print $1,$3}' /etc/passwd
awk -F:   '$3==0 || $3>=1000 {print $1,$3}' /etc/passwd 
awk -F:   '!($3==0) {print $1,$3}'     /etc/passwd
awk -F:   '!($3>=500) {print $1,$3}' /etc/passwd

条件表达式（三目表达式）

selector?if-true-expression:if-false-expression

范例：

[root@centos8-B ~]#awk -F: '{$3>=500?typeuser="common user":typeuser="sysuser" ;printf "%-15s %-20s %10d\n",typeuser,$1,$3}' awktest.txt 
sysuser         root                          0
sysuser         bin                           1
sysuser         daemon                        2
sysuser         adm                           3
sysuser         lp                            4
sysuser         sync                          5
sysuser         shutdown                      6
sysuser         halt                          7
sysuser         mail                          8
sysuser         operator                     11
6 模式PATTERN

PATTERN:根据pattern条件，过滤匹配的行，再做处理

PATTERN：根据pattern条件，过滤匹配的行，再做处理：
1. 如果未指定：空模式，匹配每一行；
2. /regular expression/：仅处理能够模式匹配到的行，需要用//扩起来；
3. relational expression：关系表达式，结果为真，才会被处理；
    真：结果为非0值，非空字符串都是真；
    假：结果为空字符串或0值都是假。
4. line ranges：行范围；
  startine,endline：/pat1/,/pat2/不支持直接给出数子格式。
5. BEGIN/END模式
  BEGIN{}：仅在开始处理文件中的文本之前执行一次；
  END{}：仅在文本处理完成之后执行一次。
  1. 如果未指定：空模式，匹配每一行
    范例:
[root@centos8 ~]#awk -F: '{print $1,$3}' /etc/passwd
  1. /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来
    范例：
[root@centos8 ~]#awk   '/^UUID/{print $1}'     /etc/fstab
[root@centos8 ~]#awk   '!/^UUID/{print $1}'   /etc/fstab
[root@centos8 ~]#df | awk '/^\/dev\/sd/'
/dev/sda2      104806400 4935924  99870476   5% /
/dev/sda3       52403200  398876  52004324   1% /data
/dev/sda1         999320  848572     81936  92% /boot
  1. relational expression: 关系表达式，结果为“真”才会被处理
    真：结果为非0值，非空字符串
    假：结果为空字符串或0值

范例：

[root@centos8 ~]#awk '!1' /etc/passwd
[root@centos8 ~]#awk '!0' /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
.......

[root@centos8 ~]#awk '1' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk '0' /etc/issue
[root@centos8 ~]#awk '"magedu"' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk '""' /etc/issue
[root@centos8 ~]#awk 'magedu' /etc/issue
[root@centos8 ~]#awk 'magedu' /etc/issue
[root@centos8 ~]#awk -v magedu=wang 'magedu' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk -v magedu="" 'magedu' /etc/issue
[root@centos8 ~]#awk -v magedu="0" 'magedu' /etc/issue
[root@centos8 ~]#awk -v magedu=0 'magedu' /etc/issue

[root@centos8 ~]#awk '"0"' /etc/issue
\S
Kernel \r on an \m

[root@centos8 ~]#awk '0' /etc/issue

范例：

awk   -F:  'i=1;j=1{print i,j}' /etc/passwd

awk  -F: '$3>=1000{print $1,$3}' /etc/passwd
awk  -F: '$3<1000{print $1,$3}' /etc/passwd
awk  -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd

[root@centos8 ~]#awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
mage /bin/bash

[root@centos8 ~]#awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
root /bin/bash
wang /bin/bash
mage /bin/bash
  1. line ranges：行范围

不支持直接用行号，但可以使用变量NR间接指定行号

/pat1/,/pat2/ 不支持直接给出数字格式

范例：

[root@centos8 ~]#seq 10 | awk 'NR>=3 && NR<=6'
3
4
5
6

[root@centos8 ~]#awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync

[root@centos8 ~]#sed -n '3,6p' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync

[root@centos8 ~]#awk '/^bin/,/^adm/' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@centos8 ~]#sed -n '/^bin/,/^adm/p' /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
  1. BEGIN/END模式

BEGIN{}：仅在开始处理文件中的文本之前执行一次

END{}：仅在文本处理完成之后执行一次

范例

awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "END FILE"}' 
/etc/passwd
awk -F: '{print "USER USERID";print $1":"$3} END{print "END FILE"}' /etc/passwd
awk -F: 'BEGIN{print "USER UID \n--------------- "}{print $1,$3}' /etc/passwd
awk -F: 'BEGIN{print "USER UID \n--------"}{print $1,$3}END{print 
"=========="}' /etc/passwd
[root@centos8-B ~]#awk -F: 'BEGIN{print "user                id\n----------------------"}{printf "%-10s| %10d\n", $1,$3}END{print "----------------------"}' awktest.txt 
user                id
----------------------
root      |          0
bin       |          1
daemon    |          2
adm       |          3
lp        |          4
sync      |          5
shutdown  |          6
halt      |          7
mail      |          8
operator  |         11
----------------------

范例：

seq 10 | awk   'i=0'
seq 10 | awk   'i=1'
seq 10 | awk   'i=!i'
seq 10 | awk   '{i=!i;print i}'
seq 10 | awk   '!(i=!i)'              
seq 10 | awk -v i=1 'i=!i'

[root@centos8-B ~]#seq 10 |awk 'i=0'
[root@centos8-B ~]#
[root@centos8-B ~]#seq 10 |awk 'i=1'
1
2
3
4
5
6
7
8
9
10
[root@centos8-B ~]#seq 10 |awk 'i=!i'
1
3
5
7
9
[root@centos8-B ~]#seq 10 |awk '!(i=!i)'
2
4
6
8
10
[root@centos8-B ~]#seq 10 |awk -v i=1 'i=!i'
2
4
6
8
10
[root@centos8-B ~]#seq 10 |awk -v i=0 'i=!i'
1
3
5
7
9
[root@centos8-B ~]#seq 10 |awk '{i=!i;print i}'
1
0
1
0
1
0
1
0
1
0
7 条件判断 if-else

语法：

if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2){statement2}else if(condition3)
{statement3}......else{statementN}

使用场景：对awk取得的整行或某个字段做条件判断

范例：

awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd
awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
awk '{if(NF>5) print $0}' /etc/fstab
awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or 
Sysuser: %s\n",$1}}' /etc/passwd
awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or 
Sysuser: %s\n",$1}' /etc/passwd

df -h|awk -F% '/^\/dev\/sd/{print $1}'| awk '$NF>=80{print $1,$5}'
df | awk -F"[[:space:]]+|%" '/^\/dev\/sd/{if($5>80)print $1,$5}'

[root@centos8 ~]#df | awk -F' +|%' '/^\/dev\/sd/{if($5>=10)print $1,$5}'
/dev/sda1 15

awk 'BEGIN{ test=100;if(test>90){print "very good"}
 else if(test>60){ print "good"}else{print "no pass"}}'
8 switch语句

语法：

switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or 
/REGEXP2/: statement2; ...; default: statementn}

条件“真”，进入循环；条件“假”，退出循环
使用场景：

  • 对一行内的多个字段逐一类似处理时使用
  • 对数组中的各元素逐一处理时使用

示例：

#内置函数length()返回字符数，而非字节数

[root@centos8-B ~]#awk 'BEGIN{print length("hello")}'
5
[root@centos8-B ~]#awk 'BEGIN{print length("马哥教育")}'
4

[root@Centos7 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub2.cfg
linux16 7
/vmlinuz-3.10.0-1127.el7.x86_64 31
root=UUID=eeb6c8d3-c590-4cb0-9d48-8c2cc415c933 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13
linux16 7
/vmlinuz-0-rescue-440a03bbbe024e0287063cec5bb90e06 50
root=UUID=eeb6c8d3-c590-4cb0-9d48-8c2cc415c933 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13

[root@Centos7 ~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){if(length($i)>=10){print $i,length($i)};i++}}' /etc/grub2.cfg
/vmlinuz-3.10.0-1127.el7.x86_64 31
root=UUID=eeb6c8d3-c590-4cb0-9d48-8c2cc415c933 46
crashkernel=auto 16
net.ifnames=0 13
/vmlinuz-0-rescue-440a03bbbe024e0287063cec5bb90e06 50
root=UUID=eeb6c8d3-c590-4cb0-9d48-8c2cc415c933 46
crashkernel=auto 16
net.ifnames=0 13

#计算1+2+3+...+100
[root@Centos7 ~]#awk 'BEGIN{ total=0;i=1;while(i<=100){total+=i;i++};print total}'
5050
9 循环 do-while

语法：

do {statement;…}while(condition)

意义：无论真假，至少执行一次循环体

范例：

[root@Centos7 ~]#awk 'BEGIN{ total=0;i=1;do{ total+=i;i++;}while(i<=100);print total}'
5050
10 循环for

语法：

for(expr1;expr2;expr3) {statement;…}

常见用法：

for(variable assignment;condition;iteration process) {for-body}

特殊用法：能够遍历数组中的元素

for(var in array) {for-body}

范例:

[root@centos8 ~]#awk 'BEGIN{total=0;for(i=1;i<=100;i++){total+=i};print total}'
5050

范例：

[root@Centos7 ~]#awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++){print $i,length($i)}}' /etc/grub2.cfg
linux16 7
/vmlinuz-3.10.0-1127.el7.x86_64 31
root=UUID=eeb6c8d3-c590-4cb0-9d48-8c2cc415c933 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13
linux16 7
/vmlinuz-0-rescue-440a03bbbe024e0287063cec5bb90e06 50
root=UUID=eeb6c8d3-c590-4cb0-9d48-8c2cc415c933 46
ro 2
crashkernel=auto 16
rhgb 4
quiet 5
net.ifnames=0 13

性能比较

time (awk 'BEGIN{ total=0;for(i=0;i<=10000;i++){total+=i;};print total;}')
time (total=0;for i in {1..10000};do total=$(($total+i));done;echo $total)
time (for ((i=0;i<=10000;i++));do let total+=i;done;echo $total)
time (seq –s ”+” 10000|bc)
11 continue和break

continue 中断本次循环

break 中断整个循环

格式：

continue [n]
break [n]

范例：

[root@centos8-B ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i%2==0)continue;sum+=i}print sum}'
2500
[root@centos8-B ~]#awk 'BEGIN{sum=0;for(i=1;i<=100;i++){if(i==50)break;sum+=i}print sum}'
1225
12 next

next 可以提前结束对本行处理而直接进入下一行处理（awk自身循环）

范例：

[root@centos8-B ~]#awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd
root 0
daemon 2
lp 4
shutdown 6
mail 8
games 12
ftp 14
nobody 65534
polkitd 998
rtkit 172
unbound 996
rpc 32
chrony 994
saslauth 992
dnsmasq 986
cockpit-ws 984
sssd 982
pipewire 980
gdm 42
insights 978
sshd 74
avahi 70
tcpdump 72
cui 1000
13 数组

awk的数组为关联数组

格式

array_name[index-expression]

范例:

weekdays["mon"]="Monday"

index-expression

  • 利用数组，实现 k/v 功能
  • 可使用任意字符串；字符串要使用双引号括起来
  • 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
  • 若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历

范例：

[root@centos8-B ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]=Tuesday;print weekdays["mon"]}'
Monday

范例:

awk '!line[$0]++' dupfile
awk '{!line[$0]++;print $0, line[$0]}' dupfile

范例：判断数组索引是否存在

[root@centos8-B ~]#awk 'BEGIN{array["i"]="x";array["j"]="y" ;if("i" in array ){print "存在"}else{print "不存在"}}'
存在
[root@centos8-B ~]#awk 'BEGIN{array["i"]="x";array["j"]="y" ;if("abc" in array ){print "存在"}else{print "不存在"}}'
不存在

若要遍历数组中的每个元素，要使用for循环

for(var in array) {for-body}

注意：var会遍历array的每个索引

范例：遍历数组

[root@centos8-B ~]#awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(i in weekdays){print weekdays[i]}}'
Tuesday
Monday

[root@centos8-B ~]#awk 'BEGIN{students[1]="daizong";students[2]="junzong";students[3]="kunzong";for(x in students){print x":"students[x]}}'
1:daizong
2:junzong
3:kunzong

[root@centos8-B ~]#awk 'BEGIN {
> a["x"] = "welcome"
> a["y"] = "to"
> a["z"] = "Magedu"
> for (i in a) {
> print i,a[i]
> }
> }'
x welcome
y to
z Magedu

[root@centos8-B ~]#awk -F: '{user[$1]=$3}END{for(i in user){print "username:"i,"uid: "user[i]}}' /etc/passwd
username:adm uid: 3
username:rpc uid: 32
username:dnsmasq uid: 986
username:radvd uid: 75
username:sync uid: 5
username:mail uid: 8
username:tss uid: 59
username:gluster uid: 995
username:unbound uid: 996
username:halt uid: 7

面试题：显示主机的连接状态出现的次数

[root@centos8-B ~]#awk 'NR!=1{print $1}' ss.log |sort |uniq -c
    108 ESTAB
      1 FIN-WAIT-1
      3 LAST-ACK

[root@centos8-B ~]#cat ss.log | sed -nr '1!s/^([^0-9]+) .*/\1/p'|sort |uniq -c
    108 ESTAB     
      3 LAST-ACK  

[root@centos8-B ~]#ss -ant | awk 'NR!=1{state[$1]++}END{for(i in state){print i,state[i]}}'
LISTEN 10
ESTAB 1

[root@centos8-B ~]#netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state){print i,state[i]}}'
LISTEN 10
ESTABLISHED 1

范例：

[root@centos8-B ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' access_log 
172.20.0.200 1482
172.20.21.121 2
172.20.30.91 29
172.16.102.29 864
172.20.0.76 1565
172.20.9.9 15
172.20.1.125 463
172.20.61.11 2

[root@centos8-B ~]#awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' access_log |sort -k2 -nr |head -3
172.20.116.228 4870
172.20.116.208 3429
172.20.0.222 2834
[root@centos8-B ~]#awk '{ip[$1]++}END{for(i in ip){print ip[i],i}}' access_log |sort -nr |head -3
4870 172.20.116.228
3429 172.20.116.208
2834 172.20.0.222

面试题：封掉查看访问日志中连接次数超过1000次的IP

awk '{ip[$1]++}END{for(i in ip){if(ip[i]>=1000){system("iptables -A INPUT -s "i" -j REJECT")}}}' access_log

范例：多维数组（了解）

[root@centos8 ~]#awk 'BEGIN{
> array[1][1]=11
> array[1][2]=12
> array[1][3]=13
> array[2][1]=21
> array[2][2]=22
> array[2][3]=23
> for (i in array)
>     for (j in array[i])
>         print array[i][j]
> }'
11
12
13
21
22
23
14 awk函数

awk 的函数分为内置和自定义函数

14.1 常见内置函数

数值处理：

  • rand()：返回0和1之间一个随机数
  • srand()：配合rand() 函数,生成随机数的种子
  • int()：返回整数

范例：

[root@centos8 ~]#awk 'BEGIN{srand();print rand()}'
0.790437
[root@centos8 ~]#awk 'BEGIN{srand();print rand()}'
0.283736
[root@centos8 ~]#awk 'BEGIN{srand();print rand()}'
0.948082
[root@centos8 ~]#awk 'BEGIN{srand();print rand()}'
0.371798

[root@centos8-B ~]#awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100)}'
47
97
61
44
88
88
18
41
33
27

字符串处理：

  • length([s])：返回指定字符串的长度
  • sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s

范例：

[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk 'sub(/:/,"-",$1)'
2008-08:08 08:08:08

[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk '{sub(/:/,"-",$1);print $0}'
2008-08:08 08:08:08

gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容

范例：

[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk 'gsub(/:/,"-",$0)'
2008-08-08 08-08-08
[root@centos8 ~]#echo "2008:08:08 08:08:08" | awk '{gsub(/:/,"-",$0);print $0}'
2008-08-08 08-08-08

split(s,array,[r])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，第一个索引值为1,第二个索引值为2,…

范例：

[root@centos8-B ~]#netstat -tn | awk '/^tcp/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print i,count[i]}}
10.0.0.1 1
10.0.0.6 1
10.0.0.7 673

system 函数：可以awk中调用shell命令
空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用空格分隔，或者说除了awk的变量外其他一律用""引用起来

14.2 自定义函数

自定义函数格式：

function name ( parameter, parameter, ... ) {
   statements
   return expression
}

范例：

[root@centos8 ~]#cat func.awk
function max(x,y) {
	x>y?var=x:var=y
	return var
}
BEGIN{print max(a,b)}
[root@centos8 ~]#awk -v a=30 -v b=20 -f func.awk
30
15 awk脚本

将awk程序写成脚本，直接调用或执行

范例

[root@centos8 ~]#cat passwd.awk 
{if($3>=1000)print $1,$3}
[root@centos8 ~]#awk -F: -f passwd.awk /etc/passwd
nobody 65534
wang 1000
mage 1001

范例：

[root@centos8 ~]#cat test.awk
#!/bin/awk -f
#this is a awk script
{if($3>=1000)print $1,$3}
[root@centos8 ~]#chmod +x test.awk
[root@centos8 ~]#./test.awk -F: /etc/passwd
nobody 65534
wang 1000
mage 1001

向awk脚本传递参数

格式：

awkfile var=value var2=value2... Inputfile

==注意：==在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数

范例：

[root@centos8 ~]#cat test2.awk 
#!/bin/awk -f
{if($3 >=min && $3<=max)print $1,$3} 
[root@centos8 ~]#chmod +x test2.awk
[root@centos8 ~]#./test2.awk -F: min=100 max=200 /etc/passwd
systemd-resolve 193
rtkit 172
pulse 171
qemu 107
usbmuxd 113
abrt 173

练习
1、文件host_list.log 如下格式，请提取”.magedu.com”前面的主机名部分并写入到回到该文件中

1 www.magedu.com
2 blog.magedu.com
3 study.magedu.com
4 linux.magedu.com
5 python.magedu.com
......
999 study.magedu.com

2、统计/etc/fstab文件中每个文件系统类型出现的次数
3、统计/etc/fstab文件中每个单词出现的次数
4、提取出字符串Yd$C@M05MB%9&Bdh7dq+YVixp3vpw中的所有数字
5、有一文件记录了1-100000之间随机的整数共5000个，存储的格式100,50,35,89…请取出其中最大和最小的整数
6、解决Dos攻击生产案例：根据web日志或者或者网络连接数，监控当某个IP并发连接数或者短时内PV达到100，即调用防火墙命令封掉对应的IP，监控频率每隔5分钟。防火墙命令为：iptables -A INPUT -s IP -j REJECT

7、将以下文件内容中FQDN取出并根据其进行计数从高到低排序

http://mail.magedu.com/index.html
http://www.magedu.com/test.html
http://study.magedu.com/index.html
http://blog.magedu.com/index.html
http://www.magedu.com/images/logo.jpg
http://blog.magedu.com/20080102.html
http://www.magedu.com/images/magedu.jpg

参考答案:

[root@centos8 ~]#awk -F"/" '{url[$3]++}END{for(i in url){print url[i],i}}' 
url.log |sort -nr
3 www.magedu.com
2 blog.magedu.com
1 study.magedu.com
1 mail.magedu.com

8、将以下文本以inode为标记，对inode相同的counts进行累加，并且统计出同一inode中，
beginnumber的最小值和endnumber的最大值

inode|beginnumber|endnumber|counts|
106|3363120000|3363129999|10000|
106|3368560000|3368579999|20000|
310|3337000000|3337000100|101|
310|3342950000|3342959999|10000|
310|3362120960|3362120961|2|
311|3313460102|3313469999|9898|
311|3313470000|3313499999|30000|
311|3362120962|3362120963|2|

输出的结果格式为：

310|3337000000|3362120961|10103|
311|3313460102|3362120963|39900|
106|3363120000|3368579999|30000|
特洛伊CAR
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Shell文本处理工具–awk
12-21
awk 用法： awk　-F 分隔符 BEGIN{}{}END{}　FILENAME　默认以空格为分隔符 BEGIN和END可以忽略不写。 NR #显示行数 NF #列数 以冒号为分隔符，每一行的列数。 以bash结尾的行的列数。 打印出以bash结尾的行。...
实例讲解4--awk命令b
swming12的专栏
03-30 361
2．awk匹配模式 分为三类： a) awk的关系表达式: 用来说明字段是否与要求符合。例如：$1==”char” 、$2>20等等。 b) awk的正则表达式: 用//括住。规则与sed相同。 例如： /^.$/  匹配只有一个字符的行。 c) awk的BEGIN和END模式: BEGIN模式意味着在读取第1行之前的匹配模式。它常用于初始化，例如设置分隔符、打印标题以及变量赋初
Linux awk 命令
SHUAI-CSDN
06-27 565
一.  AWK 说明        awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。        awk的处理文本和数据的方式：它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模
awk 以及awk相关命令 用法详解
qq_36962144的博客
07-16 310
awk编程的内容极多，这里只罗列简单常用的用法，更多请参考 http://www.gnu.org/software/gawk/manual/gawk.html          awk 1. awk是一个强大的文本分析工具。 相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各...
linux基础篇-文本三剑客之AWK
weixin_34019144的博客
09-16 100
awk介绍  awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出  有多种版本：New awk（nawk），GNU awk（ gawk）  gawk：模式扫描和处理语言 基本用法：awk [options] ‘program’ var=value file…awk [options] -f programfile var=value file…aw...
shell编程-字符截取命令-awk命令
董坤的博客
07-25 2683
文章目录前言1.awk命令1.1 BEGIN的作用1.2 END的作用1.3 FS内置变量的作用1.4 关系表达式作为条件2. 总结 前言 awk标准输出就是printf命令。如下如这种情况下，用cut命令就不能解决，这是就需要awk命令来解决这个问题。 awk的功能比cut的功能要强大的多。那为什么还要有cut命令那？？？ awk是一个非常复杂的命令，不光能实现字符段的截取，还可以在awk命令当中进行编程调用，最常用的是可以定义函数，可以判断，可以调用流程控制等。当cut命令不能完成的时候再考虑awk
DOS版本的C语言文本处理 AWK 源程.zip_DosAWK_awk_dos awk
09-20
DOS版本的C语言文本处理 AWK 源程 AWK是UNIX下功能强大的文档加工处理工具.
awk_linux_bash_awk_
09-30
编写awk脚本
详解正则表达式及Linux三大文本处理工具
10-19
grep、sed和awk都是文本处理工具。这篇文章主要介绍了正则表达式及Linux三大文本处理工具,需要的朋友可以参考下
linux文本处理工具awk命令详解
10-28
linux文本处理工具awk命令详解，超详细的讲解awk命令，更多实战案例
文本处理3剑客 awk
weixin_33829657的博客
01-22 112
1、文件ip_list.txt如下格式，请提取” .magedu.com” 前面的主机名部分并写入到回到该文件中1 blog.magedu.com2 www.magedu.com…999 study.magedu.com2、统计/etc/fstab文件中每个文件系统类型出现的次数3、统计/etc/fstab文件中每个单词出现的次数4、提取出字符串Yd$C@M05MB%9...
awk 用法详解
博主是个懒蛋
11-16 4818
awk 用法：awk ' pattern {action} '   变量名    含义  ARGC   命令行变元个数  ARGV   命令行变元数组  FILENAME   当前输入文件名  FNR   当前文件中的记录号  FS   输入域分隔符，默认为一个空格  RS   输入记录分隔符  NF   当前记录里域个数  NR   到目前为止记录数  OFS   输出域
linux awk命令详解
Lvjunteng的博客
06-27 465
原文地址：http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gaw
AWK练习题
小新没有蜡笔
09-06 2535
关于AWK的几个练习题
awk命令详解
h_b_b_h的专栏
09-23 257
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk是 AWK 的 GNU 版本。 awk其名称得自于它的创始人 Alfred Aho
awk基本用法简介
热门推荐
认知 行动 坚持
07-12 2万+
之前说过sed, 今天来说awk, 它也是一个文本处理器， 是linux下的一个命令， 比sed更强大。 搞linux开发， 尤其是后台开发， 这个命令几乎必须要用到。 awk这三个字母分别代表其三位作者的名字， 而不是某个/某些有意义单词的缩写。 还是那句话，以实践操作为荣， 以只看不练为耻。当然， 理解awk的原理是必须的：读入有'\n'换行符分割的一条记录，将记录按指定的域分隔符划分域，$0表示所有域, $1表示第一个域, $n表示第n个域。 默认域分隔符是空格键或tab键。
文件hosts.txt 如下格式，请提取”.magedu.com”前面的主机名部分并写入到该文件中
一直在努力学习的菜鸟
12-31 1268
[root@centos7 ~]#vim hosts.txt [root@centos7 ~]#cat hosts.txt 1 www.magedu.com 2 blog.magedu.com 3 study.magedu.com 4 linux.magedu.com 5 python.magedu.com [root@centos7 ~]#awk -F'[ .]' '{print $2}' hosts.txt >> hosts.txt [root@centos7 ~]#cat hosts.t.
文本处理三剑客之AWK
llh47519587的博客
05-13 239
awk介绍 awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出 有多种版本：New awk（nawk），GNU awk（ gawk） gawk：模式扫描和处理语言 基本用法： awk [options] ‘program’ var=value file… awk [options] -f programfile var=value file… awk [opt...
Linux进阶_文本处理awk
Not Found 404
06-21 614
本意内容printfawkawk控制语句if-elsewhiledo-whileforswitchbreak和continuenextawk数组awk函数awk脚本练习练习答案 printf printf '格式' 内容 参数 参数 注释 \a 警告声 \b 退格 \f 清屏 \n 输出新的一行 \r Enter键 \t Tab键 格式 格式...
linux文本处理工具
最新发布
04-10
Linux 文本处理工具是用于在 Linux 操作系统中处理文本文件的工具，例如文本编辑器、命令行工具和脚本语言等。这些工具可以帮助用户快速地编辑、修改...常见的 Linux 文本处理工具包括 Vim、Emacs、grep、awk、sed 等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值