SHELL06 - awk基本用法 awk高级应用


 SHELL DAY06

案例1:使用awk提取文本
案例2:awk处理条件
案例3:awk综合脚本应用
案例4:awk流程控制
案例5:awk扩展应用

1 案例1:使用awk提取文本

1.1 问题

本案例要求使用awk工具完成下列过滤任务:

  • 练习awk工具的基本用法
  • 提取本机的网卡流量、根分区剩余容量、获取SSH远程失败的IP地址
  • 格式化输出/etc/passwd文件中的用户名、UID、宿主目录信息

1.2 步骤

实现此案例需要按照如下步骤进行。

步骤一:awk文本过滤的基本用法

1)基本操作方法

格式:awk [选项] ‘[条件]{指令}’ 文件

其中,print 是最常用的编辑指令;若有多条编辑指令,可用分号分隔。

Awk过滤数据时支持仅打印某一列,如第2列、第5列等。

处理文本时,若未指定分隔符,则默认将空格、制表符等作为分隔符。

直接过滤文件内容:

  1. [root@svr5 ~]# cat test.txt
  2. hello the world
  3. welcome to beijing
  4. [root@svr5 ~]# awk ‘{print 1, 1 , 3}’ test.txt        //打印文档第1列和第3列
  5. hello world
  6. welcome beijing

结合管道过滤命令输出:

  1. [root@svr5 ~]# df -h | awk ‘{print 4}'</span>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="sh_comment" style="color:rgb(255,128,0);">//打印磁盘的剩余空间</span></li></ol></div></div><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">2)选项 -F 可指定分隔符</p><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">输出passwd文件中以分号分隔的第1、7个字段,显示的不同字段之间以逗号隔开,操作如下:</p><div class="snippet-container" style="color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';font-size:14px;"><div class="sh_acid snippet-wrap" style="background-image:none;border:0px none;"><ol class="snippet-num" style="margin-left:1em;"><li style="list-style:none outside;"><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[</span>root@svr5 <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">~]</span># awk <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">-</span>F<span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">:</span> <span class="sh_string" style="color:rgb(166,133,0);">'{print $1,$7}'</span> <span class="sh_regexp" style="color:rgb(166,133,0);">/etc/</span>passwd</li><li style="list-style:none outside;"><span class="sh_normal">root </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">bin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>bash</li><li style="list-style:none outside;"><span class="sh_normal">bin </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">daemon </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">adm </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">lp </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">sync </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">bin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>sync</li><li style="list-style:none outside;"><span class="sh_normal">shutdown </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>shutdown</li></ol></div></div><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">awk还识别多种单个的字符,比如以“:”或“/”分隔,输出第1、10个字段:</p><div class="snippet-container" style="color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';font-size:14px;"><div class="sh_acid snippet-wrap" style="background-image:none;border:0px none;"><ol class="snippet-num" style="margin-left:1em;"><li style="list-style:none outside;"><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[</span>root@svr5 <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">~]</span># awk <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">-</span>F <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[:</span><span class="sh_regexp" style="color:rgb(166,133,0);">/] '{print $1,$10}' /</span><span class="sh_normal">etc</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>passwd</li><li style="list-style:none outside;">root bash</li><li style="list-style:none outside;">bin nologin</li><li style="list-style:none outside;">daemon nologin</li><li style="list-style:none outside;">adm sbin</li><li style="list-style:none outside;">lp</li><li style="list-style:none outside;">sync sync</li><li style="list-style:none outside;">shutdown shutdown</li></ol></div></div><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">awk常用内置变量:</p><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';"> 4}'</span>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="sh_comment" style="color:rgb(255,128,0);">//打印磁盘的剩余空间</span></li></ol></div></div><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">2)选项 -F 可指定分隔符</p><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">输出passwd文件中以分号分隔的第1、7个字段,显示的不同字段之间以逗号隔开,操作如下:</p><div class="snippet-container" style="color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';font-size:14px;"><div class="sh_acid snippet-wrap" style="background-image:none;border:0px none;"><ol class="snippet-num" style="margin-left:1em;"><li style="list-style:none outside;"><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[</span>root@svr5 <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">~]</span># awk <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">-</span>F<span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">:</span> <span class="sh_string" style="color:rgb(166,133,0);">'{print $1,$7}'</span> <span class="sh_regexp" style="color:rgb(166,133,0);">/etc/</span>passwd</li><li style="list-style:none outside;"><span class="sh_normal">root </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">bin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>bash</li><li style="list-style:none outside;"><span class="sh_normal">bin </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">daemon </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">adm </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">lp </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>nologin</li><li style="list-style:none outside;"><span class="sh_normal">sync </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">bin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>sync</li><li style="list-style:none outside;"><span class="sh_normal">shutdown </span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span><span class="sh_normal">sbin</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>shutdown</li></ol></div></div><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">awk还识别多种单个的字符,比如以“:”或“/”分隔,输出第1、10个字段:</p><div class="snippet-container" style="color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';font-size:14px;"><div class="sh_acid snippet-wrap" style="background-image:none;border:0px none;"><ol class="snippet-num" style="margin-left:1em;"><li style="list-style:none outside;"><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[</span>root@svr5 <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">~]</span># awk <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">-</span>F <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[:</span><span class="sh_regexp" style="color:rgb(166,133,0);">/] '{print $1,$10}' /</span><span class="sh_normal">etc</span><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">/</span>passwd</li><li style="list-style:none outside;">root bash</li><li style="list-style:none outside;">bin nologin</li><li style="list-style:none outside;">daemon nologin</li><li style="list-style:none outside;">adm sbin</li><li style="list-style:none outside;">lp</li><li style="list-style:none outside;">sync sync</li><li style="list-style:none outside;">shutdown shutdown</li></ol></div></div><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';">awk常用内置变量:</p><p style="text-indent:21pt;font-size:15px;color:rgb(0,0,0);font-family:'微软雅黑', 'Times New Roman';"> 1 文本的第1列

    22</p><pstyle="textindent:21pt;fontsize:15px;color:rgb(0,0,0);fontfamily:,TimesNewRoman;"> 2 文 件 的 第 2 列 < / p >< p s t y l e =" t e x t − i n d e n t : 21 p t ; f o n t − s i z e : 15 p x ; c o l o r : r g b ( 0 , 0 , 0 ) ; f o n t − f a m i l y : ′ 微 软 雅 黑 ′ , ′ T i m e s N e w R o m a n ′ ; "> 3 文件的第3列,依此类推

    NR 文件当前行的行号

    NF 文件当前行的列数(有几列)

    输出每次处理的行号,以及当前行以“:”分隔的字段个数:

    1. [root@svr5 ~]# awk -F: ‘{print NR,NF}’ passwd.txt
    2. 1 7
    3. 2 7
    4. 3 7
    5. 4 7
    6. .. ..

    2)awk的print指令不仅可以打印变量,还可以打印常量

    1. [root@svr5 ~]# awk -F: ‘{print 1,":", 1 , " 的 解 释 器 :" , 7}’ /etc/passwd
    2. root 的解释器: /bin/bash
    3. bin 的解释器: /sbin/nologin
    4. … …

    步骤二:利用awk提取本机的网络流量、根分区剩余容量、获取远程失败的IP地址

    1)提取IP地址

    分步实现的思路及操作参考如下——

    通过ifconfig eth0查看网卡信息,其中包括网卡流量:

    1. [root@svr5 ~]# ifconfig eth0
    2. eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
    3. inet 192.168.4.21 netmask 255.255.255.0 broadcast 192.168.4.255
    4. inet6 fe80::fa64:c143:ad6a:5159 prefixlen 64 scopeid 0x20<link>
    5. ether 52:54:00:b3:11:11 txqueuelen 1000 (Ethernet)
    6. RX packets 313982 bytes 319665556 (304.8 MiB)
    7. RX errors 0 dropped 0 overruns 0 frame 0
    8. TX packets 51809 bytes 40788621 (38.8 MiB)
    9. TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

    RX为接收的数据量,TX为发送的数据量。packets以数据包的数量为单位,bytes以字节为单位:

    1. [root@svr5 ~]# ifconfig eth0 | awk ‘/RX p/{print 5}'</span>    <span class="sh_comment" style="color:rgb(255,128,0);">//过滤接收数据的流量</span></li><li style="list-style:none outside;"><span class="sh_number" style="color:rgb(128,0,128);font-weight:bold;">319663094</span></li><li style="list-style:none outside;"><span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">[</span>root@svr5 <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">~]</span># ifconfig eth0 <span class="sh_symbol" style="color:rgb(255,0,128);font-weight:bold;">|</span> awk <span class="sh_string" style="color:rgb(166,133,0);">'/TX p/{print $5}'</span>&nbsp;&nbsp;&nbsp;&nbsp; <span class="sh_comment" style
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值