【Shell牛客刷题系列】SHELL18 域名进行计数排序处理:正则表达式的升级打怪之旅~



该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。

刷题链接:牛客题霸-Shell篇

该系列文章都放到专栏下,专栏链接为:《专栏:Linux》。欢迎关注专栏~

本文知识预告:

  • 首先复习了之前学习的一些命令的参数,然后给出了匹配域名的正则式;
  • 然后给出了四种题目的解决方法,基本还是考的正则表达式的使用。


题目:SHELL18 域名进行计数排序处理

假设有一些域名,存储在nowcoder.txt里,现在需要写一个shell脚本,将域名取出并根据域名进行计数排序处理(降序)。假设nowcoder.txt内容如下:

http://www.nowcoder.com/index.html
http://www.nowcoder.com/1.html
http://m.nowcoder.com/index.html

你的脚本应该输出:

2 www.nowcoder.com
1 m.nowcoder.com

相关命令学习

正则语法学习

正则表达式为高级的文本模式匹配抽取、与/或文本形式的搜索替换功能提供了基础。简单地说,正则表达式是一些由字符和特殊符号组成的字符串,它们描述了模式的重复或者表述多个字符,于是正则表达式能按照某种模式匹配一系列有相似特征的字符串。

把标准字母表用于通用文本,我们展示了一些简单的正则表达式以及这些模式所表述的字符串。下面所介绍的正则表达式都是最基本、最普通的。它们仅仅用一个简单的字符串构造成一个匹配字符串的模式:该字符串由正则表达式定义。

正则表达式模式匹配的字符串
foofoo
abc123abc123
PythonPython

上面的第一个正则表达式模式是“foo”。该模式没有使用任何特殊符号去匹配其他符号,而只匹配所描述的内容,所以,能够匹配这个模式的只有包含“foo”的字符串。同理,对于字符串“Python”和“abc123”也一样。

正则表达式的强大之处在于引入特殊字符来定义字符集、匹配子组和重复模式。正是由于这些特殊符号,使得正则表达式可以匹配字符串集合,而不仅仅只是某单个字符串。下面列出最常见的符号和字符。
符号:

表示法描述正则表达式示例
literal匹配文本字符串的字面值literalfoo
re1\\|re2匹配正则表达式re1 或者 re2foo|bar
.匹配任何字符(除了\\n之外)b.b
^匹配字符串起始部分^Dear
$匹配字符串终止部分/bin/*sh$
*匹配 0 次或者多次前面出现的正则表达式[A-Za-z0-9]*
+匹配 1 次或者多次前面出现的正则表达式[a-z]+.com
?匹配 0 次或者 1 次前面出现的正则表达式goo?
{N}匹配 N 次前面出现的正则表达式[0-9]{3}
{M,N}匹配 M~N 次前面出现的正则表达式[0-9]{5,9}
[…]匹配来自字符集的任意单一字符[aeiou]
[..x−y..]匹配 x~y 范围中的任意单一字符[0-9], [A-Za-z]
[^…]不匹配此字符集中出现的任何一个字符,包括某一范围的字符[^aeiou], [^A-Za-z0-9]

特殊字符

表示法描述正则表达式示例
\\d匹配任何十进制数字,与[0-9]一致(\\D\\d相反,不匹配任何非数值型的数字)data\d+.txt
\\w匹配任何字母数字字符,与[A-Za-z0-9_]相同 (\\W与之相反)[A-Za-z_]\w+
\\s匹配任何空格字符,与[\\n\\t\\r\\v\\f]相同(\\S与之相反)of\sthe
\\b匹配任何单词边界(\\B与之相反)\\bThe\\b\\N
匹配已保存的子组Nprice:\16
\\c逐字匹配任何特殊字符c(即仅按照字面意义匹配,不匹配特殊含义).,\,*
\\A(\\Z)匹配字符串的起始(结束)\ADear

【举例】匹配空行,如下两个正则表达式匹配空行:

  • ^$”:表示空行
  • ^[ ]*$”:表示空行以及全是空格的行

awk:文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sedgrep并称为Linux系统中的文本三剑客。

语法格式awk 参数 文件

常用参数

参数功能
-F指定输入时用到的字段分隔符
-v自定义变量
-f从脚本中读取awk命令
-mval值设置内在限制

常用的awk内置变量

awk语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。

变量名称说明
FILENAME当前输入文档的文件名
FNR当前输入文档的当前行号,尤其当多个输入文档时有用
FS设置字段分隔符,默认为空格或制表符
NF当前记录(行)的字段(列)个数
NR输入数据流的当前记录数(行号)
OFS输出字段分隔符,默认为空格
ORS输出记录分隔符,默认为换行符
RS输入记录分隔符,默认为换行符

awk是一种处理文本文件的编程语言,文件的每行数据都被称为记录默认以空格或制表符为分隔符每条记录被分成若干字段(列)awk每次从文件中读取一条记录

例子:

  1. 仅显示指定文件中第1、2列的内容(默认以空格为间隔符):
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
  1. 以冒号为间隔符,仅显示指定文件中第1列的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd文件中的内容由:分隔开。

  1. 以冒号为间隔符,显示系统中所有UID号码大于500的用户信息(第3列):
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
  1. 仅显示指定文件中含有指定关键词main的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
  1. 以冒号为间隔符,仅显示指定文件中最后一个字段的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
  1. 输出行号,NR将所有文件的数据视为一个数据流,而FNR则是将多个文件的数据视为独立的若干个数据流,遇到新文件时行号从1开始重新递增。
lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2

grep:强大的文本搜索工具

grep来自于英文词组“global search regular expression and print out the line”的缩写,意思是用于全面搜索的正则表达式,并将结果输出。人们通常会将grep命令与正则表达式搭配使用,参数作为搜索过程中的补充或对输出结果的筛选,命令模式十分灵活。

与之容易混淆的是egrep命令和fgrep命令。如果把grep命令当作是标准搜索命令,那么egrep则是扩展搜索命令,等价于“grep -E”命令,支持扩展的正则表达式。而fgrep则是快速搜索命令,等价于“grep -F”命令,不支持正则表达式,直接按照字符串内容进行匹配。

语法格式: grep [参数] 文件

常用参数:

参数功能
-i忽略大小写
-c只输出匹配行的数量
-l只列出符合匹配的文件名,不列出具体的匹配行
-n列出所有的匹配行,显示行号
-h查询多文件时不显示文件名
-s不显示不存在、没有匹配文本的错误信息
-v显示不包含匹配文本的所有行
-w匹配整词
-x匹配整行
-r递归搜索
-q禁止输出任何结果,已退出状态表示搜索是否成功
-b打印匹配行距文件头部的偏移量,以字节为单位
-o-b结合使用,打印匹配的词据文件头部的偏移量,以字节为单位
-F匹配固定字符串的内容
-E支持扩展的正则表达式
  1. 搜索某个文件中,包含某个关键词的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
  1. 搜索某个文件中,以某个关键词开头的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash
  1. 搜索多个文件中,包含某个关键词的内容:
root@DESKTOP-VQ8KID4:~# grep lucky /etc/passwd /etc/shadow
/etc/passwd:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
/etc/shadow:lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::
  1. 搜索多个文件中,包含某个关键词的内容,不显示文件名称:
root@DESKTOP-VQ8KID4:~# grep -h lucky /etc/passwd /etc/shadow
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::
  1. 输出在某个文件中,包含某个关键词行的数量:
root@DESKTOP-VQ8KID4:~# grep -c root /etc/passwd /etc/shadow
/etc/passwd:1
/etc/shadow:1
  1. 搜索某个文件中,包含某个关键词位置的行号及内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -n int nowcoder.txt
3:int main()
5:    int a = 10;
6:    int b = 100;
  1. 搜索某个文件中,不包含某个关键词的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -v int nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}
  1. 搜索当前工作目录中,包含某个关键词内容的文件,未找到则提示:
root@DESKTOP-VQ8KID4:/# grep -l root *
grep: bin: Is a directory
grep: boot: Is a directory
grep: dev: Is a directory
grep: etc: Is a directory
grep: home: Is a directory
init
grep: lib: Is a directory
grep: lib32: Is a directory
...
grep: tmp: Is a directory
grep: usr: Is a directory
grep: var: Is a directory
  1. 搜索当前工作目录中,包含某个关键词内容的文件,未找到不提示:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -sl main *
nowcoder.txt
  1. 递归搜索,不仅搜索指定目录,还搜索其内子目录内是否有关键词文件:
root@DESKTOP-VQ8KID4:/# grep -srl root /etc
/etc/services
/etc/ltrace.conf
/etc/systemd/logind.conf
/etc/crontab
/etc/newt/palette.ubuntu
/etc/xattr.conf
/etc/apparmor.d/tunables/home
...
  1. 搜索某个文件中,精准匹配到某个关键词的内容(搜索词应与整行内容完全一样才会显示,有别于一般搜索):
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "return 0;" nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "    return 0;" nowcoder.txt
    return 0;
  1. 判断某个文件中,是否包含某个关键词,通过返回状态值输出结果(0为包含,1为不包含),方便在Shell脚本中判断和调用:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -q return nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 包含
0

lucky@DESKTOP-VQ8KID4:~/shell$ grep -q returns nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $?  # 不包含
1
  1. 搜索某个文件中,空行的数量:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -c ^$ nowcoder.txt
0

sed:批量编辑文本文件

sed命令来自于英文词组“stream editor”的缩写,其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发,后被众多Linux系统接纳集成,能够通过正则表达式对文件进行批量编辑,让需要重复的工作不再浪费时间。

sed是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件(或输入),并将结果发送到屏幕。

sed命令行格式为:

sed [-nefri] ‘command’ 输入文本    

常用选项:

  • -n:使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
  • -e:直接在指令列模式上进行 sed 的动作编辑;
  • -f:直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的sed 动作;
  • -rsed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
  • -i:直接修改读取的档案内容,而不是由萤幕输出。

常用命令:

  • a:新增, a 的后面可以接字串,而这些字串会在新的一行出现;
  • c:取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行;
  • d:删除,因为是删除,所以 d 后面通常不接任何字符;
  • i:插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
  • p:列印,亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作;
  • s:取代,可以直接进行取代的工作!通常这个 s 的动作可以搭配正规表示法!例如 1,20s/old/new/g
  • g:是行内进行全局替换

常用参数:

参数功能
-e以指定的脚本来处理输入的文本文件
-f<script文件>以指定的脚本文件来处理输入的文本文件
-h显示帮助
-n仅显示script处理后的结果
-V显示版本信息

参考实例

  1. 查找指定文件中带有某个关键词的行:
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()
  1. 替换指定文件中某个关键词成大写形式:
lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
    INT a = 10;
    INT b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

有点巧,这和前面学的Vim里面的替换基本一样。

  1. 读取指定文件,删除所有带有某个关键词的行:
lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}
  1. 读取指定文件,在第4行后插入一行新内容:
lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\    cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << end;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}
  1. 读取指定文件,在第4行后插入多行新内容:
lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\    cout << "hello world"
 << endl; \n    cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << endl;
    cout << "hello aha" << endl;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}
  1. 读取指定文件,删除第2-5行的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
     1  #include <iostream>
     6      int b = 100;
     7      cout << "a + b:" << a + b << endl;
     8      return 0;
     9  }
  1. 读取指定文件,替换第2-5行的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}
  1. 指定读取某个文件的第3-7行:
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;

sort:对文件内容进行排序

sort命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确,一行行地手动修改实在太麻烦了。此时使用sort命令就再合适不过了,它能够对文本内容进行再次排序。

语法格式:sort [参数] 文件

常用参数:

-b忽略每行前面开始出的空格字符
-c检查文件是否已经按照顺序排序
-d除字母、数字及空格字符外,忽略其他字符
-f将小写字母视为大写字母
-i除040至176之间的ASCII字符外,忽略其他字符
-m将几个排序号的文件进行合并
-M将前面3个字母依照月份的缩写进行排序
-n依照数值的大小排序
-o <输出文件>将排序后的结果存入制定的文件
-r以相反的顺序来排序
-t <分隔字符>指定排序时所用的栏位分隔字符
-k指定需要排序的栏位

参考实例
对指定的文件内容按照字母顺序进行排序:

lucky@DESKTOP-VQ8KID4:~$ cat fruits.txt
watermelon
apple
blackberry
fig
kiwi
lemon
grapefruit
pineapple
banana
orange
lucky@DESKTOP-VQ8KID4:~$ sort fruits.txt
apple
banana
blackberry
fig
grapefruit
kiwi
lemon
orange
pineapple
watermelon

对指定的文件内容按照数字大小进行排序:

lucky@DESKTOP-VQ8KID4:~$ cat num.txt
32
2
56
321
33
22
1
45
lucky@DESKTOP-VQ8KID4:~$ sort -n num.txt
1
2
22
32
33
45
56
321

以冒号:为间隔符,对指定的文件内容按照数字大小对第3列进行排序:

lucky@DESKTOP-VQ8KID4:~$ cat /etc/passwd | sort -t : -k 3 -n
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
...
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin

uniq:去除文件中的重复内容行

uniq命令来自于英文单词unique的缩写,中文译为独特的、唯一的,其功能是用于去除文件中的重复内容行uniq命令能够去除掉文件中相邻的重复内容行,如果两端相同内容中间夹杂了其他文本行,则需要先使用sort命令进行排序后再去重复,这样保留下来的内容就都是唯一的了。

划重点:去除相邻重复内容行!

语法格式:uniq [参数] 文件

常用参数:

-c打印每行在文本中重复出现的次数
-d每个重复纪录只出现一次
-u只显示没有重复的纪录

参考实例

  1. 对指定的文件进行去重操作:
lucky@DESKTOP-VQ8KID4:~$ cat test.txt
nowcoder
nowcoder
nowcoder
to
welcome
welcome
lucky@DESKTOP-VQ8KID4:~$ uniq test.txt
nowcoder
to
welcome
  1. 统计相同内容行在文件中重复出现的次数:
lucky@DESKTOP-VQ8KID4:~$ uniq -c test.txt
      3 nowcoder
      1 to
      2 welcome
  1. 仅显示指定文件中存在一模一样内容行的信息:
lucky@DESKTOP-VQ8KID4:~$ uniq -d test.txt
nowcoder
welcome
  1. 仅显示指定文件中没有存在一摸一样内容行的信息:
lucky@DESKTOP-VQ8KID4:~$ uniq -u test.txt
to

题目解决方案

一个正确的域名,可以通过正则表达式来匹配:(这里类似IP地址那道题!)

([a-z,A-Z,0-9]+\.){2,}[a-z,A-Z,0-9]+

那么,结合grep命令,搜索域名就很简单了:

lucky@DESKTOP-VQ8KID4:~$ grep -Eo '([a-z,A-Z,0-9]+\.){2,}[a-z,A-Z,0-9]+' nowcoder.txt
www.nowcoder.com
www.nowcoder.com
m.nowcoder.com

为了便于理解正则匹配的理解,这里对上面的正则表达式进行拆分理解:

  • 首先,一个域名包含三个部分,每个部分之间由.连接起来。
  • 每个部分可以由字母或者数字组成,那么每部分就可以表示为:[a-z,A-Z,0-9]+ ,这里[]表示选择任一单一字符,也就是选择小写字母,大写字母或者数字。+表示匹配 1 次或者多次前面出现的正则表达式。这样,每部分的内容就匹配出来了。
  • 我们将各个部分连接起来即可。这里首先将前两部分连起来,即([a-z,A-Z,0-9]+\.){2,},然后再加上最后一部分即可。

既然取出了相应的域名,后续只需要进行排序即可!

方法一:awk+sort+uniq

/为分隔符,去除第三列的内容,即为题目所需要的域名,然后对其进行排序处理即可。

awk -F "/" '{print $3}' nowcoder.txt | sort | uniq -c | sort -r | awk '{print $1" "$2}'

方法二:awk+sort

就是awk命令配合数组的个人秀!

awk -F "/" '{arr[$3]++}END{for(i in arr){printf("%d %s\n", arr[i], i)}}' nowcoder.txt | sort -r

方法三:grep+sed+uniq+sort(正则匹配)

利用正则表达式匹配!

grep -Eo '([a-z,A-Z,0-9]+\.){2,}[a-z,A-Z,0-9]+' nowcoder.txt | sort | uniq -c | sort -r | sed -n 's/^[ ]*//p'

方法四:awk+for

写个for循环也OK的哇!

awk -F "/" '{
    for(i=1;i<=NF;i++){
        if(i==3){
            a[$i]+=1
        }
    }
}END{
    for(x in a){
        printf("%d %s\n",a[x],x)
    }
}' nowcoder.txt | sort -r
  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AlphaGuaGua

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值