Linux 三剑客之 awk 命令

最新推荐文章于 2023-08-30 21:45:00 发布
最新推荐文章于 2023-08-30 21:45:00 发布
阅读量999 收藏
点赞数 1
分类专栏： Linux常用命令 Linux 文章标签： linux 运维 awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/doIt999/article/details/51189546
版权

1、概述

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

 

2、命令格式

gawk [POSIX or GNU style options ] -f program-file [ -- ] file ...

gawk [POSIX or GNU style options ] [ -- ] program-text file ...

 

pgawk [POSIX or GNU style options ] -f program-file [ -- ] file ...

pgawk [POSIX or GNU style options ] [ -- ] program-text file ...

 

3、常用命令选项

       由于 man awk 的信息太多，而且awk比较复杂，所以请参考下面的示例进行学习。

 

4、常用示例

1、查看一个文件3-8行的信息

模拟数据
[oldboy@oldboy awktest]$ echo {01..10}
01 02 03 04 05 06 07 08 09 10
[oldboy@oldboy awktest]$ echo {01..10} | xargs -n 1	
01
02
03
04
05
06
07
08
09
10
[oldboy@oldboy awktest]$ echo {01..10} | xargs -n 1 >> 01test	
[oldboy@oldboy awktest]$ ll
total 4
-rw-rw-r-- 1 oldboy oldboy 30 Apr 19 09:43 01test
[oldboy@oldboy awktest]$ cat 01test 	
01
02
03
04
05
06
07
08
09
10
解答：
方法1
[oldboy@oldboy awktest]$ awk 'NR>=3 && NR <=8{print $0}' 01test 	
03
04
05
06
07
08
[oldboy@oldboy awktest]$ awk 'NR>=3 && NR<=8{print NR,$0}' 01test	#该处NR用于显示行号
3 03
4 04
5 05
6 06
7 07
8 08
方法2
[oldboy@oldboy awktest]$ awk '{if(NR>=3 && NR<=8){print $0}}' 01test 	
03
04
05
06
07
08
总结：

1、NR代表行号，可以直接使用用于确定第几行【可以用于打印行号】

2、$0代表整行   $1 代表第一列   $2 代表第二列  $NF 代表最后一列

3、{print NR,$0}  其中的 , 在页面显示为空格

 

2、使用awk过滤出当前一级目录，不需要目录下的目录

当前数据


[oldboy@oldboy ~]$ ls -l
total 40
drwxrwxr-x 3 oldboy oldboy 4096 Apr 16 20:56 3week
-rw-rw-r-- 2 oldboy oldboy   29 Apr 18 21:49 BBB.txt
-rw-rw-r-- 1 oldboy oldboy    0 Apr 15 18:57 aaa.tem
drwxrwxr-x 2 oldboy oldboy 4096 Apr 19 01:24 aaac
drwxrwxr-x 2 oldboy oldboy 4096 Apr 19 09:43 awktest
drwxrwxr-x 2 oldboy oldboy 4096 Apr 13 23:08 bbb
drwxrwxr-x 3 oldboy oldboy 4096 Apr 13 23:08 ccc
-rw-rw-r-- 2 oldboy oldboy   29 Apr 18 21:49 ccc.txt
-rw-rw-r-- 1 oldboy oldboy    0 Apr 15 18:54 lkkk
drwxr-xr-x 7 oldboy oldboy 4096 Oct 28  2011 oldboy
-rw-rw-r-- 1 oldboy oldboy    1 Apr 13 21:00 test0
-rw-rw-r-- 1 oldboy root      0 Apr 13 13:04 test1
-rw-rw-r-- 1 oldboy oldboy    0 Apr 13 13:17 test2
lrwxrwxrwx 1 oldboy oldboy    5 Apr 13 13:30 test4 -> test0
-rw-rw-r-- 1 oldboy oldboy    0 Apr 14 21:39 time.txt
drwxrwxr-x 3 oldboy oldboy 4096 Apr 15 11:06 tools
思路：

1、根据secureCRT中颜色区分

2、ls 命令中  -F 和–p 会对目录追加 / 信息

3、ls 命令中 –l 如果开头为d的那么为目录

4、find 中根据-type d 查找

5、tree中根据 d 查找

解决：
[oldboy@oldboy ~]$ ls -l | awk '/^d/{print $NF}'	# //正则匹配   /^d/ 以d开头  $NF 最后一列
3week
aaac
awktest
bbb
ccc
oldboy
tools
[oldboy@oldboy ~]$ ls -l | awk '/^d/{print $0}'			# 方法1
drwxrwxr-x 3 oldboy oldboy 4096 Apr 16 20:56 3week
drwxrwxr-x 2 oldboy oldboy 4096 Apr 19 01:24 aaac
drwxrwxr-x 2 oldboy oldboy 4096 Apr 19 09:43 awktest
drwxrwxr-x 2 oldboy oldboy 4096 Apr 13 23:08 bbb
drwxrwxr-x 3 oldboy oldboy 4096 Apr 13 23:08 ccc
drwxr-xr-x 7 oldboy oldboy 4096 Oct 28  2011 oldboy
drwxrwxr-x 3 oldboy oldboy 4096 Apr 15 11:06 tools


[oldboy@oldboy ~]$ ls -F | awk '/\/$/{print $0}' # 或者 ls -lp | awk '/\/$/{print $NF}'		# /\/$/ 以/结尾 其中 \/ 进行转义
3week/
aaac/
awktest/
bbb/
ccc/
oldboy/
tools/
[oldboy@oldboy ~]$ ls -lF | awk '/\/$/{print $0}'	# ls -lp | awk '/\/$/{print $0}'  
drwxrwxr-x 3 oldboy oldboy 4096 Apr 16 20:56 3week/
drwxrwxr-x 2 oldboy oldboy 4096 Apr 19 01:24 aaac/
drwxrwxr-x 2 oldboy oldboy 4096 Apr 19 09:43 awktest/
drwxrwxr-x 2 oldboy oldboy 4096 Apr 13 23:08 bbb/
drwxrwxr-x 3 oldboy oldboy 4096 Apr 13 23:08 ccc/
drwxr-xr-x 7 oldboy oldboy 4096 Oct 28  2011 oldboy/
drwxrwxr-x 3 oldboy oldboy 4096 Apr 15 11:06 tools/


[oldboy@oldboy ~]$ ls -p | awk '/\/$/' 	# ls -F | awk '/\/$/'		
3week/
aaac/
awktest/
bbb/
ccc/
oldboy/
tools/

总结：

1、awk正则  /str/ ；/^d/ 以d开头； /\/$/ 以 / 结尾【\/进行转义】

2、$NF 代表最后一列   $0代表整行

 

3、Linux 安装后进行开机自启动项优化

0、模拟数据命令信息

生产环境默认的运营级别都为3【命令行模式】

#chkconfig --list | awk '{print $1}'
#chkconfig --list | awk '{print "chkconfig",$1,"on"}'		# 使用空格分隔 如: chkconfig ntpd on
#chkconfig --list | awk '{print "chkconfig",$1,"on"}' | bash	# 将所有信息将给bash执行
#chkconfig –list	##或者： chkconfig --list | grep '3:on'	# 所有的服务都已经开启
1、思路1：关闭所有服务，打开我们需要的服务           

命令行命令如下：       *：请依次操作

#chkconfig --list
#chkconfig --list | awk '{print $1}'
#chkconfig --list | awk '{print "chkconfig",$1,"off"}'
#chkconfig --list | awk '{print "chkconfig",$1,"off"}' | bash
#chkconfig --list | grep '3:on'		# 没有任何信息
#chkconfig --list | grep -E 'crond|rsyslog|network|sshd|sysstat'
#chkconfig --list | grep -E 'crond|rsyslog|network|sshd|sysstat' | awk '{print "chkconfig",$1,"on"}'
#chkconfig --list | grep -E 'crond|rsyslog|network|sshd|sysstat' | awk '{print "chkconfig",$1,"on"}' | bash
#chkconfig --list | grep '3:on'
2、思路2：除了我们需要的服务，其他的服务都关闭  【推荐使用】
#chkconfig --list
#chkconfig --list | grep -Ev 'crond|network|rsyslog|sshd|sysstat'
#chkconfig --list | grep -Ev 'crond|network|rsyslog|sshd|sysstat' | awk '{print "chkconfig",$1,"off"}'
#chkconfig --list | grep -Ev 'crond|network|rsyslog|sshd|sysstat' | awk '{print "chkconfig",$1,"off"}' | bash
#chkconfig --list | grep '3:on'

4、获取一个文件权限的八进制信息。如下：  那么该文件的权限为664

[oldboy@oldboy awktest]$ ll
total 4
-rw-rw-r-- 1 oldboy oldboy 30 Apr 19 09:43 01test
思路：

1、直接根据ls –l 得到权限信息，然后再转为八进制

2、根据命令stat 可以得到

解决：

方法1

[oldboy@oldboy awktest]$ ls -l
total 4
-rw-rw-r-- 1 oldboy oldboy 30 Apr 19 09:43 01test
[oldboy@oldboy awktest]$ ls -l | cut -c 2-10
otal 4
rw-rw-r--
[oldboy@oldboy awktest]$ ls -l | cut -c 2-10 | tr 'rwx-' '4210'	
otal 4
420420400
[oldboy@oldboy awktest]$ ls -l | cut -c 2-10 | tr 'rwx-' '4210' | awk -F "" 'NR==2{print $1+$2+$3,$4+$5+$6,$7+$8+$9}'	
6 6 4
[oldboy@oldboy awktest]$ ls -l | cut -c 2-10 | tr 'rwx-' '4210' | awk -F "" 'NR==2{print $1+$2+$3""$4+$5+$6""$7+$8+$9}'		
664

方法2

[oldboy@oldboy awktest]$ stat 01test 
  File: `01test'
  Size: 30              Blocks: 8          IO Block: 4096   regular file
Device: 803h/2051d      Inode: 272071      Links: 1
Access: (0664/-rw-rw-r--)  Uid: (  500/  oldboy)   Gid: (  500/  oldboy)
Access: 2016-04-19 09:43:36.337334080 +0800
Modify: 2016-04-19 09:43:29.932325160 +0800
Change: 2016-04-19 09:43:29.932325160 +0800 
[oldboy@oldboy awktest]$ stat 01test | awk -F "[0/]" 'NR==4{print $2}'		
664
[oldboy@oldboy awktest]$ stat -c %a 01test	# stat自带该功能
664

5、对/etc/passwd 的第一列和最后一列换位

默认： root:x:0:0:root:/root:/bin/bash
修改后： /bin/bash:x:0:0:root:/root:root
解决：
[oldboy@oldboy ~]$ awk 'NR==1' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[oldboy@oldboy ~]$ awk -F ":" 'NR==1{print $7":"$2":"$3":"$4":"$5":"$6":"$1}' /etc/passwd    
/bin/bash:x:0:0:root:/root:root
[oldboy@oldboy ~]$ awk -F ":" '{print $7":"$2":"$3":"$4":"$5":"$6":"$1}' /etc/passwd     
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
/sbin/nologin:x:3:4:adm:/var/adm:adm
/sbin/nologin:x:4:7:lp:/var/spool/lpd:lp
………………

6、根据ifconfig 获取eth0的IP。

数据：

[oldboy@oldboy ~]$ ifconfig eth0
eth0      Link encap:Ethernet  HWaddr 00:0C:29:A3:EF:65  
          inet addr:192.168.91.130  Bcast:192.168.91.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fea3:ef65/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:3507 errors:0 dropped:0 overruns:0 frame:0
          TX packets:2504 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:321266 (313.7 KiB)  TX bytes:386293 (377.2 KiB)
解决：
[oldboy@oldboy ~]$ ifconfig eth0 | awk -F "[ :]+" 'NR==2{print $4}'
192.168.91.130
总结：

1、-F "[ :]+" 其中 [ :] 代表空格和:进行分隔 外面的+ 表示同时可以存在多个分隔符。

5、命令所在位置和类型

[root@oldboy ~]# which awk
/bin/awk
[root@oldboy ~]# type awk
awk is /bin/awk

6、另请参见

1、awk学习 【转】



doIt999
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux awk命令
xiaozhu_you的博客
09-19 2237
GAWK(1) 实用程序命令 GAWK(1) 一.名字(NAME) gawk - 模式扫描和处理语言 二.简介(SYNOPSIS) gawk [...
Linux三剑客之awk命令快速入门
shuixiou1的博客
05-19 548
一、简介 1.1 awk是什么? awk不仅仅时linux系统中的一个命令，而且是一种编程语言，可以用来处理数据和生成报告（excel）。处理的数据可以是一个或多个文件，可以是来自标准输入，也可以通过管道获取标准输入，awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用 1.2awk的格式 awk [options] 'pattern{ac...
Linux之强大的awk
我是海马
05-02 7260
来自【梦想家 Haima’s blog】awk简介awk是Linux中的一个命令，用来做文本处理与分析，功能简单强悍，同时它也是一门编程语言。 awk处理文本文件时，以行为单位，可以高效的对日志文件进行处理。awk的man文档简介摘要：NAME gawk - pattern scanning and processing language //awk其实是gawk，文本匹配查询和 处理语言，
Linux 常用命令 screen、find、sed、awk 使用（含实例、持续更新）
lm_hao的专栏
04-23 406
概述 平时总是会在 Linux 上执行一些操作，经常使用的还比较熟悉，偶尔总有一些几个命令用的比较少，因此就会比较容易忘记，这里简单记录下来，方便自己查阅。 screen 安装 screen yum -y install screen screen 基本操作。 screen -ls screen -R dev screen 内部操作，内部操作基本都是先执行 Ctrl + A，然后再输入其他命令（因此下面的命令，开头都会带上 Ctrl + A ，-> 后面的部分，才是具体命令）。 Ctrl + A
shell编程之awk（数据筛选与处理）
锦衣
06-05 1万+
shell编程之awk（数据筛选与处理）awk 命令介绍awk 语法awk 的基本应用awk 对字段（列）的提取awk 对记录（行）的提取awk 程序的优先级awk 高级应用-F命令选项awk 定义变量（-v命令）awk 定义数组awk 运算awk 比较预算：>、>=、==、<、<=、!=awk 数学运算：+、-、\*、/、\*\*、%、++、+=、--、-=awk 字符串匹配运算：==、!=、\~、!\~awk 逻辑运算：&&、||awk 环境变量FIELDWIDT
Linux中使用find和awk命令进行文件指定字符替换
最新发布
qq_34274094的博客
08-30 1137
linux shell脚本中常用到的指定字符替换，find和awk命令
Linux三剑客之—AWK
Ghoy的博客
09-04 1226
AWK工具是一种报表生成器，就是对文件进行格式化处理的工具，这里的格式化不是文件系统的格式化，而是对文件内容进行各种“排版”，进而格式化显示。在Linux上我们使用的事GNU awk也就是gawk，awk文件其实就是gawk的软链接，所以awk和gwak是一样的。我们可以通过命令 man gawk 获得gawk的相关功能说明—gawk - pattern scanning and processin
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 ...
Linux 三剑客 Awk、Sed、Grep 命令详解
08-17
Linux 三剑客 Awk、Sed、Grep 命令详解 AWK 命令详解 AWK（Aho, Weinberger, and Kernighan）是一种功能强大的文本处理语言，主要用于处理文本和数据。它可以从标准输入、文件或其他命令的输出中读取数据，并对其...
Linux三剑客命令从入门到放弃
03-25
在IT领域，Linux操作系统是许多系统管理员和开发者的重要工具，其中Linux三剑客——AWK、SED和GREP，是日常工作中不可或缺的命令行工具。它们各自承担着文本处理、流编辑和搜索的关键任务，帮助用户高效地处理大量...
GNU/Linux awk命令用法详解
落尘纷扰的专栏
02-11 1万+
本来计划年前写完的，结果现在才搞定，手册的内容一边翻一边实验，还有awk版本问题，又参考Effective AWK Programming对语法和示例做了些补充。终于写完了，大家元宵节快乐！AWK简介AWK是一门解释型的编程语言，它的名字来源于它的三位作者的姓氏：Alfred Aho，Peter Weinberger和Brian Kernighan。AWK能够应用于广泛的计算和数据处理任务。所有的...
Linux三大剑客之awk
weixin_34214500的博客
03-01 187
摘要： 一、概述 awk的名称来源于其最初设计者Alfred V. Aho, Peter J. Weinberger, and Brian W. Kernighan的姓氏。awk最原始的版本是1977年在AT&T贝尔实验室诞生的，awk经过改进生成的新的版本nawk,gawk，现在默认linux系统下日常使用的是gawk。一、概述awk的名称来源于其最初设计者Alfred V. Aho, ...
awk 4.0+ man手册翻译第一版本
u012271055的专栏
11-30 2519
CentOS 7 上awk 4.0以上版本的man手册翻译第一版： 参考地址：http://www.cnblogs.com/wutao666/p/9732976.html 参考地址：https://www.gnu.org/software/gawk/manual/gawk.html#Array-Sorting GAWK(1) Utility Commands GAW...
Linux Shell笔记之gawk
hunterno4的专栏
12-22 1万+
gawk:Unix中原始awk程序的GNU版本,强大之处在于可以写脚本来读取文本行的数据，然后处理并显示数据。 命令格式：gawk options program file 一、gawk基础 1.命令行读取程序脚本 # gawk '{print "hello world"}'           //gawk假定脚本是单个文本字符串，须将脚本放到单引号中 hello hello w
Linux中awk命令
山鬼谣的专栏
12-07 734
awk说明 awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。 awk的处理文本和数据的方式：它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要
Linux ifup ifdown 命令
热门推荐
风语者的博客
04-19 2万+
1、概述        启动和关闭网卡   2、命令格式 ifupIFACE [boot] ifdownIFACE   3、常用命令选项        暂无   4、常用示例 1、重启指定网卡服务 [root@oldboy ~]# ifdown # 需要指定网卡 usage: ifdown [root@oldboy ~]# ifdown eth0 && i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值