Linux文本处理之只打印某个域后的内容

最新推荐文章于 2020-10-29 09:25:17 发布
最新推荐文章于 2020-10-29 09:25:17 发布
阅读量609 收藏
点赞数 1
分类专栏： Linux 文章标签： linux cut awk

前言

前天面试七牛的时候，问到了一些文本处理的东西，其中有一个问题是让我把nginx日志文件中的某一个域之后所有内容输出。当时第一个想到用cut来处理，cut的-f参数可以用来指定域，而且可以指定到末尾，速度很快速。当时选的awk来搞，调试了半天没弄出来，很是尴尬。菜鸟回来后查阅了下资料，重新整理下了以下几种方法来实现输出所有域的问题。

cut命令实现

cut 命令可以从一个文本文件或者文本流中提取文本列，是用来在文件中剪切数据的。 cut 是以每一行为一个处理对象的，这种机制和 sed/awk 是一样的。

命令格式：

cut -d '分隔符' -f fields

参数：

-d ∶后面接分隔符，用来切割文本。与-f一起使用；
-f ∶依据 -d 的分隔符一段文本分割成为数个域，用-f取出文本的域内容；

用例：

现在有一个邮件日志，我需要去分割从localhost开始的所有内容。下面awk也用这个文件进行测试

[root@hadoop-master log]# cat maillog-20150726 
……
Jul 22 21:36:24 localhost postfix/cleanup[28928]: 25EA1340106: message-id=<20150723043624.25EA1340106@localhost.localdomain>
Jul 22 21:36:24 localhost postfix/qmgr[4846]: 25EA1340106: from=<root@localhost.localdomain>, size=522, nrcpt=1 (queue active)
Jul 22 21:36:24 localhost postfix/local[28930]: 25EA1340106: to=<root@localhost.localdomain>, orig_to=<root>, relay=local, delay=0.26, delays=0.1/0.15/0/0, dsn=2.0.0, status=sent (delivered to mailbox)
Jul 22 21:36:24 localhost postfix/qmgr[4846]: 25EA1340106: removed
Jul 23 01:11:57 localhost postfix/postfix-script[30240]: stopping the Postfix mail system
Jul 23 01:11:58 localhost postfix/master[4839]: terminating on signal 15
Jul 23 20:45:53 hadoop-master postfix[2087]: fatal: parameter inet_interfaces: no local interface found for 192.168.186.128
Jul 23 20:47:10 hadoop-master postfix/postfix-script[2836]: starting the Postfix mail system
Jul 23 20:47:10 hadoop-master postfix/master[2837]: daemon started -- version 2.6.6, configuration /etc/postfix
Jul 23 21:26:03 hadoop-master postfix/pickup[2846]: D057D340106: uid=0 from=<root>
Jul 23 21:26:03 hadoop-master postfix/cleanup[3414]: D057D340106: message-id=<20150724042603.D057D340106@hadoop-master.localdomain>
Jul 23 21:26:03 hadoop-master postfix/qmgr[2847]: D057D340106: from=<root@hadoop-master.localdomain>, size=530, nrcpt=1 (queue active)
……

用cut来实现

[root@hadoop-master log]# cat maillog-20150726  | cut -d ' ' -f 4-
……
localhost postfix/cleanup[28928]: 25EA1340106: message-id=<20150723043624.25EA1340106@localhost.localdomain>
localhost postfix/qmgr[4846]: 25EA1340106: from=<root@localhost.localdomain>, size=522, nrcpt=1 (queue active)
localhost postfix/local[28930]: 25EA1340106: to=<root@localhost.localdomain>, orig_to=<root>, relay=local, delay=0.26, delays=0.1/0.15/0/0, dsn=2.0.0, status=sent (delivered to mailbox)
localhost postfix/qmgr[4846]: 25EA1340106: removed
localhost postfix/postfix-script[30240]: stopping the Postfix mail system
localhost postfix/master[4839]: terminating on signal 15
hadoop-master postfix[2087]: fatal: parameter inet_interfaces: no local interface found for 192.168.186.128
hadoop-master postfix/postfix-script[2836]: starting the Postfix mail system
hadoop-master postfix/master[2837]: daemon started -- version 2.6.6, configuration /etc/postfix
hadoop-master postfix/pickup[2846]: D057D340106: uid=0 from=<root>
hadoop-master postfix/cleanup[3414]: D057D340106: message-id=<20150724042603.D057D340106@hadoop-master.localdomain>
hadoop-master postfix/qmgr[2847]: D057D340106: from=<root@hadoop-master.localdomain>, size=530, nrcpt=1 (queue active)
……

awk命令实现

以下方法学习自 junlee 的博客。

用printf来实现

输出第四个域以后的所有内容

[root@hadoop-master log]# awk '{for(i=4;i<=NF;i++) printf("%s ", $i)} {print ""}' maillog-20150726 
……
localhost postfix/cleanup[28928]: 25EA1340106: message-id=<20150723043624.25EA1340106@localhost.localdomain> 
localhost postfix/qmgr[4846]: 25EA1340106: from=<root@localhost.localdomain>, size=522, nrcpt=1 (queue active) 
localhost postfix/local[28930]: 25EA1340106: to=<root@localhost.localdomain>, orig_to=<root>, relay=local, delay=0.26, delays=0.1/0.15/0/0, dsn=2.0.0, status=sent (delivered to mailbox) 
localhost postfix/qmgr[4846]: 25EA1340106: removed 
localhost postfix/postfix-script[30240]: stopping the Postfix mail system 
localhost postfix/master[4839]: terminating on signal 15 
hadoop-master postfix[2087]: fatal: parameter inet_interfaces: no local interface found for 192.168.186.128 
hadoop-master postfix/postfix-script[2836]: starting the Postfix mail system 
hadoop-master postfix/master[2837]: daemon started -- version 2.6.6, configuration /etc/postfix 
hadoop-master postfix/pickup[2846]: D057D340106: uid=0 from=<root> 
hadoop-master postfix/cleanup[3414]: D057D340106: message-id=<20150724042603.D057D340106@hadoop-master.localdomain> 
hadoop-master postfix/qmgr[2847]: D057D340106: from=<root@hadoop-master.localdomain>, size=530, nrcpt=1 (queue active) 
……

printf 控制输出时添加空格，由于 printf 不能自动换行，需要用 print 来控制换行。上述的命令也可以写成

[root@hadoop-master log]# awk '{for(i=4;i<=NF;i++) printf("%s ", $i); print ""}' maillog-20150726

在 NF 不够 4 个的记录（行），将会打印出一个 空行 ，为了解决这个问题，可以添加判断 NF>4

[root@hadoop-master log]# awk 'NF>4 {for(i=4;i<=NF;i++) printf("%s ", $i); print ""}' maillog-20150726

本文中域较多，不出现此问题，在测试中可选 i=15 开始打印会发现打印了很多空行，在头部添加判断 NF>15 ，会消除空行。

[root@hadoop-master log]# awk 'NF>15 {for(i=15;i<=NF;i++) printf("%s ", $i); print ""}' maillog-20150726 
to 
to
字符串函数index和substr
[root@hadoop-master log]# awk '{a=index($0,$4)} {print substr($0,a)}' maillog-20150726 
……
localhost postfix/cleanup[28928]: 25EA1340106: message-id=<20150723043624.25EA1340106@localhost.localdomain>
localhost postfix/qmgr[4846]: 25EA1340106: from=<root@localhost.localdomain>, size=522, nrcpt=1 (queue active)
localhost postfix/local[28930]: 25EA1340106: to=<root@localhost.localdomain>, orig_to=<root>, relay=local, delay=0.26, delays=0.1/0.15/0/0, dsn=2.0.0, status=sent (delivered to mailbox)
localhost postfix/qmgr[4846]: 25EA1340106: removed
localhost postfix/postfix-script[30240]: stopping the Postfix mail system
localhost postfix/master[4839]: terminating on signal 15
hadoop-master postfix[2087]: fatal: parameter inet_interfaces: no local interface found for 192.168.186.128
hadoop-master postfix/postfix-script[2836]: starting the Postfix mail system
hadoop-master postfix/master[2837]: daemon started -- version 2.6.6, configuration /etc/postfix
hadoop-master postfix/pickup[2846]: D057D340106: uid=0 from=<root>
hadoop-master postfix/cleanup[3414]: D057D340106: message-id=<20150724042603.D057D340106@hadoop-master.localdomain>
hadoop-master postfix/qmgr[2847]: D057D340106: from=<root@hadoop-master.localdomain>, size=530, nrcpt=1 (queue active)
……

通过分析出 $4 这个字段的字串在 $0 中第一次出现的位置，记数为 a ，之后再截取 a 之后的字串，并打印。上述的命令也可以写成

[root@hadoop-master log]# awk '{a=index($0,$4); print substr($0,a)}' maillog-20150726

在 NF 不够 4 个的记录（行），将会 打印出整行记录 ；为解决这个问题，可以像上文一样加上 NF>4

[root@hadoop-master log]# awk 'NF>4 {a=index($0,$4); print substr($0,a)}' maillog-20150726

如果是测试，可适当将 i 的值放大去看下输出。

这个方法也会出现一些问题，如果 $4 域的值在之前出现了，返回的 a 值可能不是 $4 的位置，输出是会出错。

例如：

X1 X2 X3 X2 X5 X4

此时 $4 的值为 X2 ，查找 X2 的位置为 2 ，输出就会变成

X2 X3 X2 X5 X4

解决方法：可以把 $4 替换成某一字符后再进行处理

awk 'NF>4 {$4="z"$4;a=index($0,$4);print substr($0,a+1)}' maillog-20150726
域值替换

将某些域替换成空值，让后输出，不过会多些空格出来

[root@hadoop-master log]# awk '{for(i=1;i<4;i++) $i=""; print $0}' maillog-20150726
……
   localhost postfix/cleanup[28928]: 25EA1340106: message-id=<20150723043624.25EA1340106@localhost.localdomain>
   localhost postfix/qmgr[4846]: 25EA1340106: from=<root@localhost.localdomain>, size=522, nrcpt=1 (queue active)
   localhost postfix/local[28930]: 25EA1340106: to=<root@localhost.localdomain>, orig_to=<root>, relay=local, delay=0.26, delays=0.1/0.15/0/0, dsn=2.0.0, status=sent (delivered to mailbox)
   localhost postfix/qmgr[4846]: 25EA1340106: removed
   localhost postfix/postfix-script[30240]: stopping the Postfix mail system
   localhost postfix/master[4839]: terminating on signal 15
   hadoop-master postfix[2087]: fatal: parameter inet_interfaces: no local interface found for 192.168.186.128
   hadoop-master postfix/postfix-script[2836]: starting the Postfix mail system
   hadoop-master postfix/master[2837]: daemon started -- version 2.6.6, configuration /etc/postfix
   hadoop-master postfix/pickup[2846]: D057D340106: uid=0 from=<root>
   hadoop-master postfix/cleanup[3414]: D057D340106: message-id=<20150724042603.D057D340106@hadoop-master.localdomain>
   hadoop-master postfix/qmgr[2847]: D057D340106: from=<root@hadoop-master.localdomain>, size=530, nrcpt=1 (queue active)
……

总结

用 cut 命令比较简单， awk 命令稍微复杂些， awk 文本处理更加强大灵活，具体使用什么命令看个人需求吧。

参考资料

排骨瘦肉丁
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux shell编程指南
05-29
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，还涉及了UNIX下的文字处理以及少量的系统管理问题。本书内容全面、文字简洁流畅，适合Shell编程人员学习、参考。 目 录 译者序 前言 第一部分 ...
Linux下查找输出文本中特定的内容
Qiuoooooo的博客
05-12 8485
下面的例子是查找ARP缓存列表中的IP root@ubuntu:~# cat /proc/net/arp IP address HW type Flags HW address Mask Device 192.168.77.24 0x1 0x2 38:d4:38:29:76:19 *
awk 匹配_Linux 三剑客之 awk 详解
weixin_39796868的博客
10-26 853
(给Linux爱好者加星标，提升Linux技能)以下文章来源于宜信技术学院 ，作者秦伟第一篇 awk简介与表达式实例一种名字怪异的语言模式扫描和处理，处理数据和生成报告。awk不仅仅是linux系统中的一个命令，而且是一种编程语言；它可以用来处理数据和生成报告(excel)；处理的数据可以是一个或多个文件；可以是直接来自标准输入，也可以通过管道获取标准输入；awk可以在命令行上直接编辑命...
linux文件操作—获取文本中指定行的内容
廖阿明的博客
09-12 6328
1、用fgets函数可以读取文件中某行的数据，某列数据就必须一个一个读入每行的第几个字符，再存入到一个字符串当中。 2、使用strncpy函数取指定行的某一段 char * strncpy(char *s1,char *s2,size_t n); 　　将字符串s2中最多n个字符复制到字符数组s1中，返回指向s1的指针 3、使用fprintf函数把打印输出到日志文件中
Linux 打印文本部分行内容（前几行，指定行，中间几行，跨行，奇偶行，后几行，最后一行，匹配行）
叨叨软件测试
07-10 4950
背景 打印对账文件最后一行汇总信息，通过钉钉定时发送到运维群。顺便总结下 Linux 打印文本部分行内容的各种方法。 测试文本 # 生成测试文本内容 $ seq -f "%02g daodaotest" 1 10 > test.txt # 查看测试文本内容，并显示行号 $ cat -n test.txt 1 01 daodaotest 2 02 daodaotest 3 03 daodaotest 4 04 daodaotest 5 05 daoda
绝版经典《Linux与UNIX Shell编程指南》
08-07
10.8 匹配后退出 98 10.9 显示文件中的控制字符 99 10.10 使用系统sed 99 10.10.1 处理控制字符 99 10.10.2 处理报文输出 101 10.10.3 去除行首数字 101 10.10.4 附加文本 102 10.10.5 从shell向sed传值 102 10.10.6...
LINUX与UNIX SHELL编程指南(很全)
07-26
10.8 匹配后退出 98 10.9 显示文件中的控制字符 99 10.10 使用系统sed 99 10.10.1 处理控制字符 99 10.10.2 处理报文输出 101 10.10.3 去除行首数字 101 10.10.4 附加文本 102 10.10.5 从shell向sed传值 102 10.10.6...
Linux与unix shell编程指南
01-16
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，还涉及了UNIX下的文字处理以及少量的系统管理问题。本书内容全面、文字简洁流畅，适合Shell编程人员学习、参考。 目 录 译者序 前言 第一部分 shell ...
LINUX与UNIX SHELL编程指南
11-29
本书共分五部分，详细介绍了shell编程技巧，各种UNIX命令及语法，还涉及了UNIX下的文字处理以及少量的系统管理问题。本书内容全面、文字简洁流畅，适合Shell编程人员学习、参考。 目 录 译者序 前言 第一部分 ...
shell切割字符串并打印分割后的值
知识的力量
08-28 4660
#!bin/bash # 分隔符 soh=`echo 1 | awk '{printf("%c", $1)}'` # sed -i -e 's/|/'$soh'/g' $1 for readFile in `cat $1`; do echo $readFile|awk -F "$soh" '{for(i=1;i&lt;=NF;i++){print i,"= " $i}}'  echo "...
Linux 文本常用工具
kairui_guxiaobai的博客
09-08 317
01 find 文件查找 1 查找txt和pdf文件 find . ( -name “.txt" -o -name ".pdf” ) -print 2 正则方式查找.txt和pdf find . -regex “.(.txt|.pdf)$" -iregex：忽略大小写的正则 3 否定参数 查找所有非txt文本 find . ! -name ".txt” -print 4 指定搜索深度 打印出当前目录的文件（深度为1） find . -maxdepth 1 -type f 5 定制搜索 按类型搜索： find
取文件的第一列内容 Linux
yychenxie21的专栏
05-27 1万+
命令：cat file | awk '{print $1}'
Linux Shell输出文本中的指定行
热门推荐
lvley的博客
03-21 6万+
Linux Shell输出文本中的指定行 在Linux系统上如何快速查看文本中指定行呢？有时文本较大比如有10w行，想要快速查看第99行该怎么做呢？ 本文以文件名test.txt为例，介绍3种方式快速查看test.txt的第99行。相信你可以轻易的举一反三。 使用sed sed全名：stream editor，流编辑器，使用程序的方式来编辑文本，可以实现替换、删除、新增、选取特定行等功能，...
Linux shell：判断变量是否包含某个字符串的几种方法
weixin_44498318的博客
10-29 3万+
方法一：利用grep查找 strA="long string" strB="string" result=$(echo $strA | grep "${strB}") if [[ "$result" != "" ]] then echo "包含" else echo "不包含" fi 先打印长字符串，然后在长字符串中 grep 查找要搜索的字符串，用变量result记录结果，如果结果不为空，说明strA包含strB。如果结果为空，说明不包含。 这个方法充分利用了grep 的特性，最为简洁。
linux查看日志中特定字符串以及前后信息内容命令
仪一
02-27 9688
在项目实施过程中，我们经常会查看日志，更是经常会根据某些特地字符串去查找日志内容。 下面就是日志查找命令： 1、查询字符串命令： cat fileName|grep ‘要查找的字符串’ 实例：cat catalina.out|grep ‘2018041417434200258001’ 2、根据某个字符串，查询该字符串前后文本信息命令：grep-A|B n&quot;key&quot;file 其中： &amp;nbsp;&amp;n...
Linux C语言获取命令行执行结果输出的指定字符串后指定的内容
仗劍走天涯
05-06 3104
本文介绍了在Linux系统中，使用C语言中的popen执行了一个终端命令后，将终端输出重定向到一个文件流中，再使用fgets获取到终端输出的每一行，并使用strstr提取其中的关键字符串，然后使用sscanf获取到字符串后面的字符。由于fgets是指定的流中读取数据，本文也适用于从一个文件中获取指定字符串的使用场景。
shell实例浅谈之六文件特定行打印的多种方法
乌托邦
10-13 1万+
一、问题       DOS是Denial of Service的简称，即拒绝服务，造成DoS的攻击行为被称为DoS攻击，其目的是使计算机或网络无法提供正常的服务。最常见的DoS攻击有计算机网络带宽攻击和连通性攻击。       解决DOS攻击方法：可以通过分析web日志，或者查看网络连接数，当某个IP并发连接数过多（或判断PV短时内达到1000），则调用防火墙命令封掉对应的ip，监控频率

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值