【Shell牛客刷题系列】SHELL13 去掉所有包含this的句子：awk与gawk命令的进阶使用

---

---

该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Linux》。欢迎关注专栏~

本文知识预告：

• 首先学习了用于模式扫描和处理语言的gawk命令；
• 然后结合之前所学的命令，给出了七种方法，值得一学~

---

---

题目：SHELL13 去掉所有包含this的句子

编写一个shell脚本以实现如下功能：去掉输入中含有this的语句，把不含this的语句输出。假设输入如下：

that is your bag
is this your bag?
to the degree or extent indicated.
there was a court case resulting from this incident
welcome to nowcoder

你的脚本获取以上输入应当输出：

that is your bag
to the degree or extent indicated.
welcome to nowcoder

说明：你可以不用在意输出的格式，包括空格和换行。

相关命令学习

awk：文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。

语法格式：awk 参数 文件

常用参数：

参数	功能
-F	指定输入时用到的字段分隔符
-v	自定义变量
-f	从脚本中读取awk命令
-m	对val值设置内在限制

常用的awk内置变量：

awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称	说明
FILENAME	当前输入文档的文件名
FNR	当前输入文档的当前行号，尤其当多个输入文档时有用
FS	设置字段分隔符，默认为空格或制表符
NF	当前记录（行）的字段（列）个数
NR	输入数据流的当前记录数（行号）
OFS	输出字段分隔符，默认为空格
ORS	输出记录分隔符，默认为换行符
RS	输入记录分隔符，默认为换行符

awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。

例子：

1. 仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}

2. 以冒号为间隔符，仅显示指定文件中第1列的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd文件中的内容由:分隔开。

3. 以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash

4. 仅显示指定文件中含有指定关键词main的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()

5. 以冒号为间隔符，仅显示指定文件中最后一个字段的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash

6. 输出行号，NR将所有文件的数据视为一个数据流，而FNR则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。

lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2

sed：批量编辑文本文件

sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。

sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。

sed命令行格式为：

sed [-nefri] ‘command’ 输入文本    

常用选项：

• -n：使用安静(silent)模式。在一般 sed的用法中，所有来自STDIN的资料一般都会被列出到萤幕上。但如果加上-n 参数后，则只有经过sed特殊处理的那一行(或者动作)才会被列出来。
• -e：直接在指令列模式上进行 sed 的动作编辑；
• -f：直接将 sed 的动作写在一个档案内， -f filename则可以执行 filename 内的sed 动作；
• -r：sed的动作支援的是延伸型正规表示法的语法。（预设是基础正规表示法语法）
• -i：直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

• a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n一起运作～
• s：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
• g：是行内进行全局替换

常用参数：

参数	功能
-e	以指定的脚本来处理输入的文本文件
-f<script文件>	以指定的脚本文件来处理输入的文本文件
-h	显示帮助
-n	仅显示script处理后的结果
-V	显示版本信息

参考实例

1. 查找指定文件中带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()

2. 替换指定文件中某个关键词成大写形式：

lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
    INT a = 10;
    INT b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

有点巧，这和前面学的Vim里面的替换基本一样。

3. 读取指定文件，删除所有带有某个关键词的行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

4. 读取指定文件，在第4行后插入一行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\    cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << end;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

5. 读取指定文件，在第4行后插入多行新内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\    cout << "hello world"
 << endl; \n    cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << endl;
    cout << "hello aha" << endl;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

6. 读取指定文件，删除第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
     1  #include <iostream>
     6      int b = 100;
     7      cout << "a + b:" << a + b << endl;
     8      return 0;
     9  }

7. 读取指定文件，替换第2-5行的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

8. 指定读取某个文件的第3-7行：

lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;

grep：强大的文本搜索工具

grep来自于英文词组“global search regular expression and print out the line”的缩写，意思是用于全面搜索的正则表达式，并将结果输出。人们通常会将grep命令与正则表达式搭配使用，参数作为搜索过程中的补充或对输出结果的筛选，命令模式十分灵活。
与之容易混淆的是egrep命令和fgrep命令。如果把grep命令当作是标准搜索命令，那么egrep则是扩展搜索命令，等价于“grep -E”命令，支持扩展的正则表达式。而fgrep则是快速搜索命令，等价于“grep -F”命令，不支持正则表达式，直接按照字符串内容进行匹配。

语法格式： grep [参数] 文件

常用参数：

参数	功能
-i	忽略大小写
-c	只输出匹配行的数量
-l	只列出符合匹配的文件名，不列出具体的匹配行
-n	列出所有的匹配行，显示行号
-h	查询多文件时不显示文件名
-s	不显示不存在、没有匹配文本的错误信息
-v	显示不包含匹配文本的所有行
-w	匹配整词
-x	匹配整行
-r	递归搜索
-q	禁止输出任何结果，已退出状态表示搜索是否成功
-b	打印匹配行距文件头部的偏移量，以字节为单位
-o	与-b结合使用，打印匹配的词据文件头部的偏移量，以字节为单位
-F	匹配固定字符串的内容
-E	支持扩展的正则表达式

1. 搜索某个文件中，包含某个关键词的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash

2. 搜索某个文件中，以某个关键词开头的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash

3. 搜索多个文件中，包含某个关键词的内容：

root@DESKTOP-VQ8KID4:~# grep lucky /etc/passwd /etc/shadow
/etc/passwd:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
/etc/shadow:lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

4. 搜索多个文件中，包含某个关键词的内容，不显示文件名称：

root@DESKTOP-VQ8KID4:~# grep -h lucky /etc/passwd /etc/shadow
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

5. 输出在某个文件中，包含某个关键词行的数量：

root@DESKTOP-VQ8KID4:~# grep -c root /etc/passwd /etc/shadow
/etc/passwd:1
/etc/shadow:1

6. 搜索某个文件中，包含某个关键词位置的行号及内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -n int nowcoder.txt
3:int main()
5:    int a = 10;
6:    int b = 100;

7. 搜索某个文件中，不包含某个关键词的内容：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -v int nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

8. 搜索当前工作目录中，包含某个关键词内容的文件，未找到则提示：

root@DESKTOP-VQ8KID4:/# grep -l root *
grep: bin: Is a directory
grep: boot: Is a directory
grep: dev: Is a directory
grep: etc: Is a directory
grep: home: Is a directory
init
grep: lib: Is a directory
grep: lib32: Is a directory
...
grep: tmp: Is a directory
grep: usr: Is a directory
grep: var: Is a directory

9. 搜索当前工作目录中，包含某个关键词内容的文件，未找到不提示：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -sl main *
nowcoder.txt

10. 递归搜索，不仅搜索指定目录，还搜索其内子目录内是否有关键词文件：

root@DESKTOP-VQ8KID4:/# grep -srl root /etc
/etc/services
/etc/ltrace.conf
/etc/systemd/logind.conf
/etc/crontab
/etc/newt/palette.ubuntu
/etc/xattr.conf
/etc/apparmor.d/tunables/home
...

11. 搜索某个文件中，精准匹配到某个关键词的内容（搜索词应与整行内容完全一样才会显示，有别于一般搜索）：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "return 0;" nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "    return 0;" nowcoder.txt
    return 0;

12. 判断某个文件中，是否包含某个关键词，通过返回状态值输出结果（0为包含，1为不包含），方便在Shell脚本中判断和调用：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -q return nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 包含
0

lucky@DESKTOP-VQ8KID4:~/shell$ grep -q returns nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 不包含
1

13. 搜索某个文件中，空行的数量：

lucky@DESKTOP-VQ8KID4:~/shell$ grep -c ^$ nowcoder.txt
0

gawk：模式扫描与处理语言

gawk是Unix中原始awk程序的GNU版本，强大之处在于可以写脚本来读取文本行的数据，然后处理并显示数据。

语法格式：gawk [参数]

常用参数：

-f	从文件程序文件读取AWK程序源，而不是从第一个命令行参数。可以使用多个-f选项
-F	指定描绘一行中数据字段的文件分隔符
-v	定义gawk程序中使用的变量和默认值
-mr	指定数据文件中的最大记录大小

参考实例

1. 命令行读取程序脚本：

lucky@DESKTOP-VQ8KID4:~$ gawk '{print "hello world"}' nowcoder.txt
hello world
hello world
hello world
hello world
hello world

2. 指定描绘一行中数据字段的文件分隔符：

lucky@DESKTOP-VQ8KID4:~$ gawk -F: '{print $1}' /etc/passwd | tail
messagebus
syslog
_apt
tss
uuidd
tcpdump
sshd
landscape
pollinate
lucky

题目解决方案

方法一：grep命令

grep命令：-v显示不包含匹配文本的所有行

lucky@DESKTOP-VQ8KID4:~$ grep -v this nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

方法二：sed命令

找出包含this的行，进行删除，剩下的都是不含this的行了：

lucky@DESKTOP-VQ8KID4:~$ sed '/this/d' nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

或者找出包含this的行，不进行打印

lucky@DESKTOP-VQ8KID4:~$ sed -n '/this/!p' nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

• p：打印指令
• d：删除指令
• //：正则表达式

方法三：awk简单正则匹配

lucky@DESKTOP-VQ8KID4:~$ awk '!/this/{print}' nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

检查$0，当其不包含this时进行输出也是可以的：

lucky@DESKTOP-VQ8KID4:~$ awk '$0!~/this/{print $0}' nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

方法四：awk配合for循环

定义一个flag变量，来判断每一行是否包含this，不包含输出即可：

awk '{
        flag=0;
        for(i=0;i<=NF;i++){
                if($i=="this"){
                        flag=1;
                }
        }
        if(flag!=1){
                print $0;
                flag=0;
        }
}' nowcoder.txt

方法五：awk配合if条件语句

lucky@DESKTOP-VQ8KID4:~$ awk '{if($0 !~ /this/){print $0}}' nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

方法六：gawk命令

lucky@DESKTOP-VQ8KID4:~$ gawk '!/this/' nowcoder.txt
that is your bag
to the degree or extent indicated.
welcome to nowcoder

方法七：循环

没啥可说的，一行一行的读，不包含this就进行输出

while read line; do
	if [[ $line =~ "this" ]]; then
		continue
	else
		echo $line
	fi
done <nowcoder.txt