该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。
刷题链接:牛客题霸-Shell篇。
该系列文章都放到专栏下,专栏链接为:《专栏:Linux》。欢迎关注专栏~
本文知识预告:
- 本文首先结合之前正则表达式的相关知识,给出了IP地址的正则式;
- 然后给出了五种题目的解决方法,主要考的还是正则表达式的使用。
题目:SHELL16 判断输入的是否为IP地址
写一个脚本统计文件nowcoder.txt中的每一行是否是正确的IP地址。
- 如果是正确的IP地址输出:yes
- 如果是错误的IP地址,且是四段号码的话输出:no,否则的话输出:error
假设nowcoder.txt内容如下:
192.168.1.1
192.168.1.0
300.0.0.0
123
你的脚本应该输出:
yes
yes
no
error
相关命令学习
awk
:文本和数据进行处理的编程语言
awk
命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk
命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sed
、grep
并称为Linux系统中的文本三剑客。
语法格式:awk 参数 文件
常用参数:
参数 | 功能 |
---|---|
-F | 指定输入时用到的字段分隔符 |
-v | 自定义变量 |
-f | 从脚本中读取awk 命令 |
-m | 对val 值设置内在限制 |
常用的awk
内置变量:
awk
语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。
变量名称 | 说明 |
---|---|
FILENAME | 当前输入文档的文件名 |
FNR | 当前输入文档的当前行号,尤其当多个输入文档时有用 |
FS | 设置字段分隔符,默认为空格或制表符 |
NF | 当前记录(行)的字段(列)个数 |
NR | 输入数据流的当前记录数(行号) |
OFS | 输出字段分隔符,默认为空格 |
ORS | 输出记录分隔符,默认为换行符 |
RS | 输入记录分隔符,默认为换行符 |
awk
是一种处理文本文件的编程语言,文件的每行数据都被称为记录,默认以空格或制表符为分隔符,每条记录被分成若干字段(列),awk
每次从文件中读取一条记录。
例子:
- 仅显示指定文件中第1、2列的内容(默认以空格为间隔符):
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
- 以冒号为间隔符,仅显示指定文件中第1列的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x
/etc/passwd
文件中的内容由:
分隔开。
- 以冒号为间隔符,显示系统中所有UID号码大于500的用户信息(第3列):
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 仅显示指定文件中含有指定关键词
main
的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
- 以冒号为间隔符,仅显示指定文件中最后一个字段的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
- 输出行号,
NR
将所有文件的数据视为一个数据流,而FNR
则是将多个文件的数据视为独立的若干个数据流,遇到新文件时行号从1开始重新递增。
lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2
正则语法学习
正则表达式为高级的文本模式匹配、抽取、与/或文本形式的搜索和替换功能提供了基础。简单地说,正则表达式是一些由字符和特殊符号组成的字符串,它们描述了模式的重复或者表述多个字符,于是正则表达式能按照某种模式匹配一系列有相似特征的字符串。
把标准字母表用于通用文本,我们展示了一些简单的正则表达式以及这些模式所表述的字符串。下面所介绍的正则表达式都是最基本、最普通的。它们仅仅用一个简单的字符串构造成一个匹配字符串的模式:该字符串由正则表达式定义。
正则表达式模式 | 匹配的字符串 |
---|---|
foo | foo |
abc123 | abc123 |
Python | Python |
上面的第一个正则表达式模式是“foo
”。该模式没有使用任何特殊符号去匹配其他符号,而只匹配所描述的内容,所以,能够匹配这个模式的只有包含“foo
”的字符串。同理,对于字符串“Python
”和“abc123
”也一样。
正则表达式的强大之处在于引入特殊字符来定义字符集、匹配子组和重复模式。正是由于这些特殊符号,使得正则表达式可以匹配字符串集合,而不仅仅只是某单个字符串。下面列出最常见的符号和字符。
符号:
表示法 | 描述 | 正则表达式示例 |
---|---|---|
literal | 匹配文本字符串的字面值literal | foo |
re1\\|re2 | 匹配正则表达式re1 或者 re2 | foo|bar |
. | 匹配任何字符(除了\\n 之外) | b.b |
^ | 匹配字符串起始部分 | ^Dear |
$ | 匹配字符串终止部分 | /bin/*sh$ |
* | 匹配 0 次或者多次前面出现的正则表达式 | [A-Za-z0-9]* |
+ | 匹配 1 次或者多次前面出现的正则表达式 | [a-z]+.com |
? | 匹配 0 次或者 1 次前面出现的正则表达式 | goo? |
{N} | 匹配 N 次前面出现的正则表达式 | [0-9]{3} |
{M,N} | 匹配 M~N 次前面出现的正则表达式 | [0-9]{5,9} |
[…] | 匹配来自字符集的任意单一字符 | [aeiou] |
[..x−y..] | 匹配 x~y 范围中的任意单一字符 | [0-9], [A-Za-z] |
[^…] | 不匹配此字符集中出现的任何一个字符,包括某一范围的字符 | [^aeiou], [^A-Za-z0-9] |
特殊字符
表示法 | 描述 | 正则表达式示例 |
---|---|---|
\\d | 匹配任何十进制数字,与[0-9] 一致(\\D 与\\d 相反,不匹配任何非数值型的数字) | data\d+.txt |
\\w | 匹配任何字母数字字符,与[A-Za-z0-9_] 相同 (\\W 与之相反) | [A-Za-z_]\w+ |
\\s | 匹配任何空格字符,与[\\n\\t\\r\\v\\f] 相同(\\S 与之相反) | of\sthe |
\\b | 匹配任何单词边界(\\B 与之相反)\\bThe\\b\\N | |
匹配已保存的子组N | price:\16 | |
\\c | 逐字匹配任何特殊字符c (即仅按照字面意义匹配,不匹配特殊含义) | .,\,* |
\\A (\\Z ) | 匹配字符串的起始(结束) | \ADear |
【举例】匹配空行,如下两个正则表达式匹配空行:
- “
^$
”:表示空行 - “
^[ ]*$
”:表示空行以及全是空格的行
题目解决方案
要想做这道题,有两个大的方向,一个是利用正则表达式直接匹配IP地址,另一个是利用循环判断来筛选出正确的IP地址。
先来简单说说如何用正则表达式匹配IP地址:
0-255
数字匹配
匹配数字区间 | 相应的正则表达式 |
---|---|
0-99 | [1-9]?[0-9] |
100-199 | 1[0-9]{2} |
200-249 | 2[0-4][0-9] |
250-255 | 25[0-4] |
所以,0-255
匹配表达式:[1-9]?[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4]
正确IP其实就是由4个0-255
的数字加上三个点组成的,故IP匹配的正则表达式:
^(([1-9]?[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\.){3}([1-9]?[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])$
那么,不正确的IP地址的正则表达式呢?如下就是一共有4段,每段的数字是任意0-999之间的数字
^([0-9]+\.){3}([0-9]+)$
这种情况,排除掉上面正确的IP地址的情况,剩下的就是题目中输出“no”的字符了!
方法一:awk
命令
awk -F '.' '{
if(NF==4){
for(i=1; i<5; i++){
if($i>255 || $i<0){
print("no")
break
}
}
if(i==5){
print("yes")
}
}else{
print("error")
}
}'
方法二:while
+awk
while read line
do
echo $line | awk -F "." 'f=0;{for(i=1;i<=NF;i++){if(NF!=4 || $i<0 || $i>255){f=1}}} END{print NF!=4 ? "error" : f == 1 ? "no" : "yes"}'
done < nowcoder.txt
方法三:while
+awk
+if
while read line; do
l=$(echo $line | awk -F. '{print NF}')
if [[ $l -eq 4 ]]; then
m=0
for n in $(echo $line | awk -F. '{for(i=1;i<=NF;i++){print $i}}'); do
if [[ $n -ge 0 ]] && [[ $n -le 255 ]]; then
let m++
if [[ $m -eq 4 ]]; then
echo yes
fi
else
echo no
fi
done
else
echo error
fi
done <nowcoder.txt
方法四:awk
+正则表达式
awk '{
if($0~/^(([1-9]?[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])\.){3}([1-9]?[0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-4])$/){
print "yes"
} else if($0~/^([0-9]+\.){3}([0-9]+)$/){
print "no"
}else{
print "error"
}
}' nowcoder.txt
方法五:循环+正则表达式
ip_re='^((25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])\.){3}(25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9]?[0-9])$'
while read line; do
if [[ $line =~ ^([0-9]+\.){3}([0-9]+)$ ]]; then
if [[ $line =~ $ip_re ]]; then
echo 'yes'
else
echo 'no'
fi
else
echo 'error'
fi
done <nowcoder.txt