【Shell牛客刷题系列】SHELL33 业务分析-提取值

---

---

该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Shell》。欢迎关注专栏~

本文知识预告：

• 本文复习了awk和sed命令的相关用法；
• 然后给出了三种题目的解决方案，事实上，这道题仍旧考的是awk命令的使用。

---

---

SHELL33 业务分析-提取值

假设我们的日志nowcoder.txt里，内容如下

12-May-2017 10:02:22.789 信息 [main] org.apache.catalina.startup.VersionLoggerListener.log Server version:Apache Tomcat/8.5.15
12-May-2017 10:02:22.813 信息 [main] org.apache.catalina.startup.VersionLoggerListener.log Server built:May 5 2017 11:03:04 UTC
12-May-2017 10:02:22.813 信息 [main] org.apache.catalina.startup.VersionLoggerListener.log Server number:8.5.15.0
12-May-2017 10:02:22.814 信息 [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name:Windows, OS Version:10
12-May-2017 10:02:22.814 信息 [main] org.apache.catalina.startup.VersionLoggerListener.log Architecture:x86_64

现在需要你提取出对应的值，输出内容如下

serverVersion:Apache Tomcat/8.5.15
serverName:8.5.15.0
osName:Windows
osVersion:10

相关命令学习

awk：文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。

语法格式：awk 参数 文件

常用参数：

参数	功能
-F	指定输入时用到的字段分隔符
-v	自定义变量
-f	从脚本中读取awk命令
-m	对val值设置内在限制

常用的awk内置变量：

awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称	说明
FILENAME	当前输入文档的文件名
FNR	当前输入文档的当前行号，尤其当多个输入文档时有用
FS	设置字段分隔符，默认为空格或制表符
NF	当前记录（行）的字段（列）个数
NR	输入数据流的当前记录数（行号）
OFS	输出字段分隔符，默认为空格
ORS	输出记录分隔符，默认为换行符
RS	输入记录分隔符，默认为换行符

awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。

例子：

1. 仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}

2. 以冒号为间隔符，仅显示指定文件中第1列的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd文件中的内容由:分隔开。

3. 以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash

4. 仅显示指定文件中含有指定关键词main的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()

5. 以冒号为间隔符，仅显示指定文件中最后一个字段的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash

6. 输出行号，NR将所有文件的数据视为一个数据流，而FNR则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。

lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2

sed：批量编辑文本文件

sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。

sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。

sed命令行格式为：

sed [-nefri] ‘command’ 输入文本    

常用选项：

• -n：使用安静(silent)模式。在一般 sed的用法中，所有来自STDIN的资料一般都会被列出到萤幕上。但如果加上-n 参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来。
• -e：直接在指令列模式上进行 sed 的动作编辑；
• -f：直接将 sed 的动作写在一个档案内， -f filename则可以执行 filename 内的sed 动作；
• -r：sed的动作支援的是延伸型正规表示法的语法。（预设是基础正规表示法语法）
• -i：直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

• a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n一起运作～
• s：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
• g：是行内进行全局替换

常用参数：

参数	功能
-e	以指定的脚本来处理输入的文本文件
-f<script文件>	以指定的脚本文件来处理输入的文本文件
-h	显示帮助
-n	仅显示script处理后的结果
-V	显示版本信息

参考实例

1. 查找指定文件中带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()

2. 替换指定文件中某个关键词成大写形式：

lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
    INT a = 10;
    INT b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

有点巧，这和前面学的Vim里面的替换基本一样。

3. 读取指定文件，删除所有带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

4. 读取指定文件，在第4行后插入一行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\    cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << end;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

5. 读取指定文件，在第4行后插入多行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\    cout << "hello world"
 << endl; \n    cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << endl;
    cout << "hello aha" << endl;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

6. 读取指定文件，删除第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
     1  #include <iostream>
     6      int b = 100;
     7      cout << "a + b:" << a + b << endl;
     8      return 0;
     9  }

7. 读取指定文件，替换第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

8. 指定读取某个文件的第3-7行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;

题目解决方案

方法一：awk按行提取

这道题要求提取值，一个awk命令就完全可以做到。既然要提取多个值，老规矩，我们还是分开来，一个一个的提取：

1. 先来提取serverVersion，这个值在第一行的末尾，我们利用awk定位到第一行，然后采用空格和:作为分隔符提取最后两列即可。代码如下：

lucky@LAPTOP-G2DIO3FV:~$ awk -F '[ :]' '{if(NR==1)print "serverVersion:"$(NF-1),$NF}' nowcoder.txt
serverVersion:Apache Tomcat/8.5.15

分隔符的选取有讲究的哈，因为要提取的serverVersion里有空格，同时和前面用:连接，所以才使用[ :]作为分隔符。

2. 同样的，serverName的值在第三行，所以定位到第三行即可。观察第三行的内容，直接利用:作为分隔符即可。

lucky@LAPTOP-G2DIO3FV:~$ awk -F: '{if(NR==3)print "serverName:"$NF}' nowcoder.txt
serverName:8.5.15.0

3. 最后两个值都在第四行，所以一起处理比较方便。这里使用[ :,]+作为分隔符，+的意思就是把连续的分隔符当作一个分隔符。

lucky@LAPTOP-G2DIO3FV:~$ awk -F '[ :,]+' '{if(NR==4)print "osName:"$(NF-3)"\nosVersion:"$NF}' nowcoder.txt
osName:Windows
osVersion:10

既然三个值都提取出来了，那么组合在一起不就是答案啦？最终代码如下：

awk -F '[ :]' '{if(NR==1)print "serverVersion:"$(NF-1),$NF}' nowcoder.txt
awk -F: '{if(NR==3)print "serverName:"$NF}' nowcoder.txt
awk -F '[ :,]+' '{if(NR==4)print "osName:"$(NF-3)"\nosVersion:"$NF}' nowcoder.txt

这代码看起来是有点low，但不也做出来了吗~当然，为了看起来好看（不是），可以把这三条命令整合成一条命令，即：

awk -F '[ :,]+' '{
	if(NR==1)
		print "serverVersion:"$(NF-1),$NF
	if(NR==3)
		print "serverName:"$NF
	if(NR==4)
		print "osName:"$(NF-3),"\nosVersion:"$NF
}' nowcoder.txt

方法二：awk按条件提取

跟方法一差不多，只不过这个方法按照条件查找相应的值。有点类似“键值对”里的“键”。

awk -F "[:,]" '{
    if($0~"Server version"){
        print "serverVersion:" $4
    }
    if($0~"Server number"){
        print "serverName:" $4
    }
    if($0~"OS Name"){
        print "osName:" $4
    }
    if($0~"OS Version"){
        print "osVersion:" $6
    }
}'

批注：上面的分隔符的设置都是看具体的内容设置的，设置好分隔符后，需要去数要提取的内容在第几列，从而计算出上面的$4和$6。

方法三：awk+sed

仔细看，题目要求的输出和原始数据的“键”是不一样的，前两种方法直接把值找出来，自己写入对应的“键”即可，方法三即把“键”和“值”都查出来，然后利用sed命令替换掉“键”。

awk '{
    if($7 ~ "version" )
        printf("%s %s\n",$7,$8)
}' nowcoder.txt | sed 's/version/serverVersion/'
awk '{
    if($7 ~ "number" )
        printf("%s %s\n",$7,$8)
}' nowcoder.txt | sed 's/number/serverName/'
awk '{
    if($7 ~ "Name" )
        printf("%s\n",$7)
}' nowcoder.txt | sed 's/Name/osName/' | sed 's/,//'
awk '{
    if($9 ~ "Version" )
        printf("%s\n",$9)
}' nowcoder.txt | sed 's/Version/osVersion/'