Linux 中的awk命令

最新推荐文章于 2024-09-09 09:00:00 发布
最新推荐文章于 2024-09-09 09:00:00 发布
阅读量554 收藏
点赞数
分类专栏： awk linux 文章标签： awk linux
linux 同时被 2 个专栏收录
21 篇文章 0 订阅
订阅专栏
awk
1 篇文章 0 订阅
订阅专栏

本文转载自：点击打开链接

awk ：适用程序，一种unix工具 
就是一个强大的文本分析工具，相对于grep查找、sed的编辑，awk在对数据分析并生成报告的时候，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种处理。

  • awk是用来操作数据和产生报表的一种编程语言。数据可能来自标准输入、一个或多个文件或一个进程的输出等。awk可以用在命令行里进行简单操作，也可应用到较大的应用程序中。
  • awk是一门编程语法，作为unix工具来使用简化了很多，但是仍然有许多编程语言的特性，可以对目标进行一系列的处理。

  • 如果抛出awk的BEGIN和END，对文件的每行，awk都分两个阶段处理： 
    1、读取该行内容，分配临时寄存器，分配域名等操作； 
    2、对域做各种处理并输出；

  • awk基本用途 
    1、简单输出，如 awk ‘{print  1, NF}’ — print的规则 
    2、作为分隔符使用 
    单字符分隔符：打印系统中用户名和其他使用shell类型 
    单字符分隔符，管道连续使用awk：打印nginx日志中的访问目录。 
    多字符分隔符：抓取apache详细版本 
    多字符多个分隔符：截取ip地址 
    正则分隔符：截取ip地址

[root@admin test]# ls -l
total 16
-rw-r--r--. 1 root root    0 Jun 15 11:03 aa.jpg
-rw-r--r--. 1 root root   12 Jun 15 10:48 ls.jpg
-rw-r--r--. 1 root root  200 Jun 15 11:31 result.jpg
-rw-r--r--. 1 root root    0 Jun 15 11:04 right.jpg
drwxr-xr-x. 2 root root 4096 Jun 20 06:39 sd.ex
-rw-r--r--. 1 root root   49 Jun 15 11:04 wrong.jpg

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

通过awk打印出第一列：

[root@admin test]# ls -l | awk '{print $1}'
total
-rw-r--r--.
-rw-r--r--.
-rw-r--r--.
-rw-r--r--.
drwxr-xr-x.
-rw-r--r--.

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

打印前两列，也就是前两个域：

[root@admin test]# ls -l | awk '{print $1,$2}'
total 16
-rw-r--r--. 1
-rw-r--r--. 1
-rw-r--r--. 1
-rw-r--r--. 1
drwxr-xr-x. 2
-rw-r--r--. 1

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

在awk中，抛开BEGIN和END不看，’{}’ 这是一个固定写法。 
$ ： 符号表示域，域之间通过默认的分隔符 空格 分开，如果有多个空格就会变成一个空格，第一个域为$1，第二个为$2等…

打印最后一列：

[root@admin test]# ls -l | awk '{print $NF}'
16
aa.jpg
ls.jpg
result.jpg
right.jpg
sd.ex
wrong.jpg

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

$NF ： 就代表最后一列的意思。 
如果想打印倒数第二列，则使用$(NF -1)。

[root@admin test]# ls -l | awk '{print $(NF - 1)}'
total
11:03
10:48
11:31
11:04
06:39
11:04

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

-F ：参数-F是改变awk的默认分隔符，可以支持正则表达式。

[root@admin test]# ls -l
total 16
-rw-r--r--. 1 root root    0 Jun 15 11:03 aa.jpg
-rw-r--r--. 1 root root   12 Jun 15 10:48 ls.jpg
-rw-r--r--. 1 root root  200 Jun 15 11:31 result.jpg
-rw-r--r--. 1 root root    0 Jun 15 11:04 right.jpg
drwxr-xr-x. 2 root root 4096 Jun 20 06:39 sd.ex
-rw-r--r--. 1 root root   49 Jun 15 11:04 wrong.jpg

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

awk默认的分隔符是 空格，空格前一列就是$1，后面是$2，$3….. 
当我们改变默认分隔符为 分号 “：”时，打印一下结果：

[root@admin test]# ls -l | awk -F":" '{print $NF}'
total 16
03 aa.jpg
48 ls.jpg
31 result.jpg
04 right.jpg
39 sd.ex
04 wrong.jpg

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

通过-F 参数改变默认分隔符，以及其支持正则表达式的特性，精确的抽出ifconfig 文件中的ip地址。

#精确的抽取ip地址
[root@admin test]# ifconfig | grep "inet addr" | awk -F "addr:|  *" '{print $4}'
192.168.1.6
127.0.0.1

 
 
  • 1
  • 2
  • 3
  • 4
  • 5

 
 
  • 1
  • 2
  • 3
  • 4
  • 5

分析：

grep "inet addr" 表示先抽取出含有ip的那行，然后通过管道交给awk去处理

-F "addr:|  *" ：表示该变默认分隔符为addr:或者连续多个空格

$4 :表示改变默认分隔符以后，ip地址在第4个域。
 
 
  • 1
  • 2
  • 3
  • 4
  • 5

 
 
  • 1
  • 2
  • 3
  • 4
  • 5

用grep实现抽取ip ：

[root@admin home]# ifconfig | egrep -o "[0-9][0-9]*\.[0-9][0-9]*\.[0-9][0-9]*\.[0-9][0-9]*"
192.168.1.6
192.168.1.255
255.255.255.0
127.0.0.1
255.0.0.0

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

然后在用head和tail抽取想要的ip即可。

使用sed实现抽取ip

[root@admin home]# ifconfig |grep "inet addr" | sed 's/inet addr://' | sed 's/Bcast.*//' | head -1
192.168.1.6
或者：
[root@admin home]# ifconfig |grep "inet addr" | sed 's/^.*addr://;s/  *.*//' | head -1
192.168.1.6

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

awk匹配打印

注：需要匹配的内容是写在{}外面的，通过//来体现匹配。 
匹配打印实际上是文件每行读取的时候做的处理。

1、整行中匹配内容

awk '/sth/{print $1}' ---打印匹配sth的行的第一个域，这是对整行进行操作
awk '!/sth/{print $1}'  ---打印不匹配sth的行的第一个域

 
 
  • 1
  • 2
  • 3

 
 
  • 1
  • 2
  • 3

如匹配打印sd关键字：

[root@admin test]# ls
aa.jpg  ls.jpg  result.jpg  right.jpg  sd.ex  wrong.jpg

[root@admin test]# ls | awk '/sd/{print $1}'
sd.ex

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

2、域匹配内容 
匹配某个文件中以默认分隔符分隔的$1域中含有关键字sth的行，然后打印出第一个域，命令如下：

awk '$1~/sth/{print $1}' 
 
 
  • 1

 
 
  • 1

3、改变awk中的默认分隔符 
如打印出passwd文件中，以冒号 ： 分隔的第一个域中含有关键字wcx行的第一个域：

[root@admin etc]# cat passwd | awk -F":" '$1~/wcx/{print $1}'
wcx

 
 
  • 1
  • 2
  • 3

 
 
  • 1
  • 2
  • 3

awk判断打印

判断打印实际上是文件每行读取后做的处理。 
格式例如：

awk '{if($1=="wcx")print $1}'
 
 
  • 1

 
 
  • 1

if 判断必须是进入某一行以后才能做的，所以必须是在花括号{} 里面。而模式匹配是先匹配到内容的行才能进行下一步操作，所以模式匹配实在花括号{}外边。

[root@admin etc]# cat ./passwd | awk -F ":" '{if($1 == "wcx")print}
wcx:x:501:501::/home/wcx:/bin/bash

 
 
  • 1
  • 2
  • 3

 
 
  • 1
  • 2
  • 3

上面命令中，如果passwd文件中，以冒号分隔的第一个域==”wcx”，那么就打印出来，这是等于判断，所以只有wcx的行能出来。

BEGIN和END

在Unix awk中两个特别的表达式，BEGIN和END，这两者都可用于pattern中（参考前面的awk语法），提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作。 
任何在BEGIN之后列出的操作（在{}内）将在Unix awk开始扫描输入之前执行，而END之后列出的操作将在扫描完全部的输入之后执行。因此，通常使用BEGIN来显示变量和预置（初始化）变量，使用END来输出最终结果。

awk的数组

有一个awk.txt文件，其内容如下：

[root@admin home]# cat awk.txt
kk kekea
jj d32
jame 23
sr
sr
kk
jame
wcx
jame 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

统计一下awk.txt文件中每个人名出现的次数：

[root@admin home]# cat awk.txt | awk '{a[$1]++}END{for (i in a)print i,a[i]}'
wcx 1
jj 1
kk 2
sr 2
jame 3

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

解题思路分析：

{a[$1]++} ：awk开始扫描管道传过来的内容，但是么有存储功能，现在我们需要计算每个人名出现的额次数，所以需要把扫描到的相同的人名分别存储起来，这时候就必须用数组，并且这里的数组都是hash数组，就是键值对的数组,这里的键—对应的就是对应域中的人名，如kk，值 — 对应的就是kk这个人名出现的次数。数组a中的下标$1代表的是第一个域中列名，如wcx。awk开始逐行扫描，每扫到一个相同的人名，对应的hash数组里的值就+1，如a[kk]++，直到扫到文件的结尾。（注：数组的默认值为空，如果要做++操作了，就会把里的值变成0）

END ： END之后列出的操作将在Unix awk开始扫描完全部的输入之后执行。上面扫描完以后，就开始执行END后面的操作了。

{for (i in a)print i,a[i]} ：利用for循环去遍历刚刚产生的hash数组，然后打印出数组下标所代表的值，也就是人名以及对数组中的值，也就是对应人名出现的次数。这里的i，就代表数组的下标，也就是域中的人名，如kk。

awk输出分隔符

awk默认的输出分隔符也是空格，如果想改变默认输出分隔符怎么做？

[root@admin home]# cat awk.txt | awk '{print $1,$2}'
kk kekea
jj d32
jame 23
sr 234
sr edr
kk 23
jame rt
wcx 88
jame 34

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

运行结果看出，打印时，$1和$2间加了逗号以后，输出的文本中域间就都是用空格隔开的。 
如果我不加逗号，改为加一串别的字符时，输出后就以加入的字符作为分隔符了。如：

[root@admin home]# cat awk.txt | awk '{print $1"--"$2"BB"}'
kk--kekeaBB
jj--d32BB
jame--23BB
sr--234BB
sr--edrBB
kk--23BB
jame--rtBB
wcx--88BB
jame--34BB

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

通过awk批量修改扩展名

[root@admin test]# ls
aa.jpg  ls.jpg  result.jpg  right.jpg  wrong.jpg

 
 
  • 1
  • 2
  • 3

 
 
  • 1
  • 2
  • 3

将test目录下的以.jpg结尾的文件改成.txt结尾的文件：

[root@admin test]# ls | awk -F "." '{print "mv "$1"."$2" "$1".txt"}'|sh
[root@admin test]# ls
aa.txt  ls.txt  result.txt  right.txt  wrong.txt

或者：
[root@admin test]# ls | awk -F "." '{print "mv "$0" "$1".txt"}' | sh
#$0表示整行的内容

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

思路分析，同样改名也是需要构造mv a.txt a.jpg这样类似的语句的，这就用到了上面讲的输出时修改默认分隔符的操作了。构造出的mv语句再传给sh去执行就可以实现改名的操作。

漫画爱好者
关注
专栏目录
linux awk 命令使用详解
congge
07-10 2万+
awk 命令使用详解
Linux中awk命令的使用
lgc646300052的博客
06-12 482
awk命令语法 awk 参数 '{要执行的操作}' filename 参数 含义 -F 分割字符串 要执行的操作里面可以使用if, for, 正则表达式 awk内置变量 变量 含义 NR 当前行号 NF 当前行分隔出了多少列 示例 普通打印 awk -F ',' '{print $1}' debug.log -F ‘,’ 表示每一行用逗号分隔 ‘{print $1}’ 表示打印出每行的第一列 带格式的打印 awk -F ',' '{printf("%s\n
linux之awk命令的用法
12-31
先来一个例子：文件a，统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定$cat a1.021 331#.ll   442.53 6ss    7 awk ‘BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}’ a（分析：$1~/^[0-9]+\.[0-9]*/表示$1与“/ /”里面的正则表达式进行匹配，若匹配，则total加上$1，且len自增，即数目加1.“^[0-9]+\.[0-9]*”是个正则表达式，“^[0-9]”
Linux awk命令详解
另一个自己
09-21 9222
awk ：适用程序，一种unix工具 就是一个强大的文本分析工具，相对于grep查找、sed的编辑，awk在对数据分析并生成报告的时候，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种处理。 awk是用来操作数据和产生报表的一种编程语言。数据可能来自标准输入、一个或多个文件或一个进程的输出等。awk可以用在命令行里进行简单操作，也可应用到较大的应
深入 awk 命令：Linux 命令行中的文本处理神器
最新发布
Lion_Long的博客
09-09 1565
AWK 是一种强大而灵活的文本处理工具，广泛应用于 Linux 命令行环境中。其设计初衷是提供便捷的方式来处理和分析结构化文本数据、行列数据等。通过简单且易于理解的语法，用户能够快速实现数据筛选、格式化和计算。本文将深入探讨 AWK 的基本概念、结构及常用功能，帮助读者掌握这一命令的强大魅力与实用性。
awk '{print $2}' 这个命令
热门推荐
专注于后端开发，时常接触大数据 、人工智能等
12-27 3万+
$2：表示第二个字段 print $2 ： 打印第二个字段 awk '{print $2}' $fileName : 一行一行的读取指定的文件， 以空格作为分隔符，打印第二个字段   比如有个文件是testAWK.txt,文件内容如下: 11 22 33 44 55 66 77 88 执行 awk '{print $2}' testAWK.txt 结果: 22 66    ...
liunx命令解析之 awk `{print $2}`
weixin_40619157的博客
07-08 6815
ps auxwww | grep redis | grep 端口号 | awk -F’ ’ ‘{print $2}’：获取指定redis相关的进程号的进程信息的第二个字段：即进程号 目的： 本人在开发ambari安装集群版redis集群版的时候，由于已经生成了pid文件，可以通过该命令判断pid端口号的进程是否还在正常运行 命令解析：       ps auxwww...
linux中awk命令
03-16
awk命令是一种文本处理工具，可以用于对文本文件进行分析和处理。它可以根据指定的规则对文本进行分割、过滤、格式化等操作，非常...awk命令的语法比较灵活，可以根据需要进行定制，是Linux系统中非常常用的命令之一。
Linux 中awk 提取包含某个关键字的段落
01-20
本文将使用命令awk将具有某个关键字的段落提取出来。 准备数据 Finalizer #3 daemon prio=8 os_prio=0 tid=0x00007fb2dc1aa800 nid=0x63f6 in Object.wait() [0x00007fb2be61f000] java.lang.Thread.State: ...
awk 获取除去最后一行的所有行
D的博客
09-07 1690
👉当前有一个文件aa.txt，格式如下所示，这里想要获取除去最后一行一外的所有行的内容11223344aa👉使用awk操作上述的一行awk命令就可以分解为，当NR行数大于 1 时，打印line内容，第一次执行时NR=1不会>1所以没有内容输出，但是会将第一行的$0赋值给line，在当NR=2时，打印line即第一行的$0，以此类推到最后一行的时候将最后一行的内容$0赋值给line，但是awk已经读完文件的所有行，所以最后一行没有输出了。
解析linux命令lsof-n| awk ‘{print $2}‘ | sort| uniq -c | sort -nr |more
mywaya2333的博客
06-12 2107
该 Linux 命令用于列出当前系统中打开的文件和网络连接的信息，并按照进程 ID（PID）进行统计和排序。命令用于提取每行的第二个字段，即进程 ID（PID）。命令用于对输入进行排序，默认按照字母顺序进行排序。命令用于列出打开的文件和网络连接的信息。命令用于分页显示输出结果，以便在终端逐页查看。命令用于从排序后的输入中删除重复的行。命令是用于处理文本文件的强大工具。用于统计每个唯一行出现的次数。用于反向排序（从最大到最小）。用于禁止解析主机名。: 第二次排序，选项。
linux学习——awk ‘{print $2}‘ 这个命令是什么意思？
m0_37965811的博客
06-19 9351
$2：表示第二个字段 print $2 ： 打印第二个字段 awk '{print $2}' $fileName : 一行一行的读取指定的文件， 以空格作为分隔符，打印第二个字段 比如有这样一个文件 a1 b1 c1 d1 a2b2c2 d2 执行的结果是,输出 b1 b2 来自 <https://zhidao.baidu.com/question/433749088.html> 实际测试如下 已知有代码文件tt1.sh如下 分别测试打印 ...
grep -v grep | awk ‘{ print $2 }‘ 停止命令学习
qq_51417587的博客
01-04 2450
停止命令代码解读 PID=$(ps -ef | grep jenkins | grep -v grep | awk '{ print $2 }') if [ -z "$PID" ] then echo jenkins is already stopped else echo kill $PID kill $PID fi ps -ef | grep jenkins | grep -v grep | awk ‘{ print $2 }’ ps -ef | grep jenkins：查看
AWK：从awk '{print $2}' 开始
车东@CSDN
09-16 946
今天从Oracle的技术文档上看到了： AWK：Linux 管理员的智能工具包，回想起自己学习使用awk的过程：都是从打印出日志的某个字段这个需求开始的。 ...
Linux Shell awk 获取非最后一行
weixin_43260123的博客
03-01 1825
Linux Shell 获取不是最后一行的其他行 test.txt内容如下： aaaa bbbbb cccc dddddd 现在要获取非最后一行 #先给p复制为$0，读取下一行的时候，打印上一行的内容。 cat test.txt | awk ‘NR>1{print p}{p=$0}’
【Linux】ps -ef|grep -v grep|awk ‘{print $2}‘ 命令详解
huotongwangbs的专栏
03-26 3532
【Linux】ps -ef|grep -v grep|awk '{print $2}' 命令详解
shell学习笔记（3）grep -v grep|awk ‘{print $2}‘ ` 表示是什么意思
bug记录
09-25 2万+
网上查阅shell定时脚本相关代码 其中有一句grep -v grep|awk 'awk {print $2}'不是很理解(基础知识太薄弱) pid=`ps -ef|grep run.jar|grep -v grep|awk '{print $2}' ` 经查阅资料 grep -v 意为不包括；上述语句的意思是查找除了grep下的所有信息,如下图所示； awk '{print $2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值