该系列是基于牛客Shell题库,针对具体题目进行查漏补缺,学习相应的命令。
刷题链接:牛客题霸-Shell篇。
该系列文章都放到专栏下,专栏链接为:《专栏:Shell》。欢迎关注专栏~
本文汇总了该系列题目所用到的命令及其知识点,可用于系统学习这些命令,也可以用于刷完题后的巩固学习。
正则语法学习
正则表达式为高级的文本模式匹配、抽取、与/或文本形式的搜索和替换功能提供了基础。简单地说,正则表达式是一些由字符和特殊符号组成的字符串,它们描述了模式的重复或者表述多个字符,于是正则表达式能按照某种模式匹配一系列有相似特征的字符串。
把标准字母表用于通用文本,我们展示了一些简单的正则表达式以及这些模式所表述的字符串。下面所介绍的正则表达式都是最基本、最普通的。它们仅仅用一个简单的字符串构造成一个匹配字符串的模式:该字符串由正则表达式定义。
正则表达式模式 | 匹配的字符串 |
---|---|
foo | foo |
abc123 | abc123 |
Python | Python |
上面的第一个正则表达式模式是“foo
”。该模式没有使用任何特殊符号去匹配其他符号,而只匹配所描述的内容,所以,能够匹配这个模式的只有包含“foo
”的字符串。同理,对于字符串“Python
”和“abc123
”也一样。
正则表达式的强大之处在于引入特殊字符来定义字符集、匹配子组和重复模式。正是由于这些特殊符号,使得正则表达式可以匹配字符串集合,而不仅仅只是某单个字符串。下面列出最常见的符号和字符。
符号:
表示法 | 描述 | 正则表达式示例 |
---|---|---|
literal | 匹配文本字符串的字面值literal | foo |
re1\\|re2 | 匹配正则表达式re1 或者 re2 | foo|bar |
. | 匹配任何字符(除了\\n 之外) | b.b |
^ | 匹配字符串起始部分 | ^Dear |
$ | 匹配字符串终止部分 | /bin/*sh$ |
* | 匹配 0 次或者多次前面出现的正则表达式 | [A-Za-z0-9]* |
+ | 匹配 1 次或者多次前面出现的正则表达式 | [a-z]+.com |
? | 匹配 0 次或者 1 次前面出现的正则表达式 | goo? |
{N} | 匹配 N 次前面出现的正则表达式 | [0-9]{3} |
{M,N} | 匹配 M~N 次前面出现的正则表达式 | [0-9]{5,9} |
[…] | 匹配来自字符集的任意单一字符 | [aeiou] |
[..x−y..] | 匹配 x~y 范围中的任意单一字符 | [0-9], [A-Za-z] |
[^…] | 不匹配此字符集中出现的任何一个字符,包括某一范围的字符 | [^aeiou], [^A-Za-z0-9] |
特殊字符
表示法 | 描述 | 正则表达式示例 |
---|---|---|
\\d | 匹配任何十进制数字,与[0-9] 一致(\\D 与\\d 相反,不匹配任何非数值型的数字) | data\d+.txt |
\\w | 匹配任何字母数字字符,与[A-Za-z0-9_] 相同 (\\W 与之相反) | [A-Za-z_]\w+ |
\\s | 匹配任何空格字符,与[\\n\\t\\r\\v\\f] 相同(\\S 与之相反) | of\sthe |
\\b | 匹配任何单词边界(\\B 与之相反)\\bThe\\b\\N | |
匹配已保存的子组N | price:\16 | |
\\c | 逐字匹配任何特殊字符c (即仅按照字面意义匹配,不匹配特殊含义) | .,\,* |
\\A (\\Z ) | 匹配字符串的起始(结束) | \ADear |
【举例】匹配空行,如下两个正则表达式匹配空行:
- “
^$
”:表示空行 - “
^[ ]*$
”:表示空行以及全是空格的行
wc
:统计文件的字节数、单词数、行数
wc
命令来自于英文词组“Word count”的缩写,其功能是用于统计文件的字节数、单词数、行数等信息,并将统计结果输出到终端界面。利用wc
命令可以很快的计算出准确的单词数及行数,评估出文本的内容长度。
语法格式:wc [参数] 文件
常用参数:
参数 | 功能 |
---|---|
-w | 统计单词数 |
-c | 统计字节数 |
-l | 统计行数 |
-m | 统计字符数 |
-L | 显示最长行的长度 |
--help | 显示帮助信息 |
--version | 显示版本信息 |
统计指定文件的单词数量:
lucky@DESKTOP-VQ8KID4:~/shell$ wc -w nowcoder.txt
30 nowcoder.txt
统计指定文件的字节数量:
lucky@DESKTOP-VQ8KID4:~/shell$ wc -c nowcoder.txt
142 nowcoder.txt
统计指定文件的字符数量:
lucky@DESKTOP-VQ8KID4:~/shell$ wc -m nowcoder.txt
142 nowcoder.txt
统计指定文件的总行数:
lucky@DESKTOP-VQ8KID4:~/shell$ wc -l nowcoder.txt
9 nowcoder.txt
awk
:文本和数据进行处理的编程语言
awk
命令来自于三位创始人”Alfred Aho,Peter Weinberger, Brian Kernighan “的姓氏缩写,其功能是用于对文本和数据进行处理的编程语言。使用awk
命令可以让用户自定义函数或正则表达式对文本内容进行高效管理,与sed
、grep
并称为Linux系统中的文本三剑客。
语法格式:awk 参数 文件
常用参数:
参数 | 功能 |
---|---|
-F | 指定输入时用到的字段分隔符 |
-v | 自定义变量 |
-f | 从脚本中读取awk 命令 |
-m | 对val 值设置内在限制 |
常用的awk
内置变量:
awk
语法由一系列条件和动作组成,在花括号内可以有多个动作,多个动作之间用分号分隔,在多个条件和动作之间可以有若干空格,也可以没有。
变量名称 | 说明 |
---|---|
FILENAME | 当前输入文档的文件名 |
FNR | 当前输入文档的当前行号,尤其当多个输入文档时有用 |
FS | 设置字段分隔符,默认为空格或制表符 |
NF | 当前记录(行)的字段(列)个数 |
NR | 输入数据流的当前记录数(行号) |
OFS | 输出字段分隔符,默认为空格 |
ORS | 输出记录分隔符,默认为换行符 |
RS | 输入记录分隔符,默认为换行符 |
awk
是一种处理文本文件的编程语言,文件的每行数据都被称为记录,默认以空格或制表符为分隔符,每条记录被分成若干字段(列),awk
每次从文件中读取一条记录。
例子:
- 仅显示指定文件中第1、2列的内容(默认以空格为间隔符):
lucky@DESKTOP-VQ8KID4:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}
- 以冒号为间隔符,仅显示指定文件中第1列的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x
/etc/passwd
文件中的内容由:
分隔开。
- 以冒号为间隔符,显示系统中所有UID号码大于500的用户信息(第3列):
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 仅显示指定文件中含有指定关键词
main
的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk '/main/{print}' nowcoder.txt
int main()
- 以冒号为间隔符,仅显示指定文件中最后一个字段的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash
- 输出行号,
NR
将所有文件的数据视为一个数据流,而FNR
则是将多个文件的数据视为独立的若干个数据流,遇到新文件时行号从1开始重新递增。
lucky@DESKTOP-VQ8KID4:~$ awk '{print NR}' first.txt three.sh
1
2
3
lucky@DESKTOP-VQ8KID4:~$ awk '{print FNR}' first.txt three.sh
1
1
2
awk
命令中的内置函数
字符串函数
sub
和gsub
函数:sub
函数在记录中查找能够匹配正则表达式的最长且最靠左的字串,然后用替换子串替换找到的子串。默认是整个记录,可指定目标字符串。
sub(regualr expression,substitution string);
sub(regualr expression,substitution string,target string);
例子:
lucky@DESKTOP-VQ8KID4:~$ awk '{sub(/now/,"nowcoder"); print}' nowcoder.txt
big
nowcodercoder
Betty
basic
nowcoder
gsub
类似于sub
的用法,但是sub
只对目标串中出现的第一个匹配进行替换。gsub
则对字符串中的正则表达式进行全局替换,即替换出现在目标串的每一次匹配成功的子串。
lucky@DESKTOP-VQ8KID4:~$ awk '{gsub(/now/,"nowcoder"); print}' nowcoder.txt
big
nowcodercoder
Betty
basic
nowcoder
index
函数:index
函数返回子串在字符串中的第一次出现的位置。下标从1开始算起。语法格式为:
index(string, substring)
例子:
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print index("hellow", "lo")}'
4
length
函数:这个函数很常用,返回字符串的字符个数,支持中文字符。语法格式为:
length(string)
例子:
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print length("helloworld")}'
10
substr
函数:该函数返回从字符串指定位置开始的一个子串(从1开始算起)。如果指定了子串的长度,则返回字符串相应的部分。如果指定长度超出极限,则返回实际内容。语法格式为:
sbustr(string, starting position, length for substring);
例子:
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print substr("Santa Claus",7,6)}'
Claus
match
函数:该函数用于返回正则表达式在字符串中出现的位置,如果没有出现,则返回0。其内置变量RSTART
保存开始位置,RLEGNTH
保存匹配到的长度。语法格式:
match(string,regular expression)
例子:
awk 'BEGIN{start=match("good morning everyone",/n... e/); print start,RSTART,RLENGH}'
split
函数:该函数使用有用户自定义的分割符来分割一个字符串,保存到一个数组中。如果没有提供分割符,则使用FS作为分割符。语法格式为:
split(string, array, fieldseparator);
split(string, array);
例子:
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{split("2013/06/16",date,"/"); print date[2],date[3]}'
06 16
printf
函数:同C语言的printf
用法。
常用算术函数
int(x)
:x
的整数部分,直接去掉小数部分,不四舍五入。cos(x)
:x
的余弦值,x
是弧度sin(x)
:x
的正弦值,x
是弧度exp(x)
:x
和e
的指数函数log(x)
:x
的自然对数,底数为e
sqrt(x)
:x
的平方根rand( )
:返回一个0到1之间的随机数srand(x)
:设定rand
的种子,常与rand()
一起使用,以产生不同的随机数。例子:
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{srand(); print rand()}'
0.136167
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{srand(); print rand()}'
0.548888
用户自定与函数
脚本中凡是可以出现模式操作规则的位置都可以放置用户自定义函数。
function function_name(parameter1,parameter2....){
statements
return expression
}
注意事项:
- 变量的传递是传值调用,而且变量只在该函数中局部有效。数组则是地址引用。
- 函数中出现的任何变量,如果不是作为参数列表传进来的,都是全局变量。
- 调用函数时1如果没有指定某个形参的值,则设定为空。
gawk
:模式扫描与处理语言
gawk
是Unix中原始awk
程序的GNU版本,强大之处在于可以写脚本来读取文本行的数据,然后处理并显示数据。
语法格式:gawk [参数]
常用参数:
-f | 从文件程序文件读取AWK程序源,而不是从第一个命令行参数。可以使用多个-f 选项 |
---|---|
-F | 指定描绘一行中数据字段的文件分隔符 |
-v | 定义gawk 程序中使用的变量和默认值 |
-mr | 指定数据文件中的最大记录大小 |
参考实例
- 命令行读取程序脚本:
lucky@DESKTOP-VQ8KID4:~$ gawk '{print "hello world"}' nowcoder.txt
hello world
hello world
hello world
hello world
hello world
- 指定描绘一行中数据字段的文件分隔符:
lucky@DESKTOP-VQ8KID4:~$ gawk -F: '{print $1}' /etc/passwd | tail
messagebus
syslog
_apt
tss
uuidd
tcpdump
sshd
landscape
pollinate
lucky
grep
:强大的文本搜索工具
grep
来自于英文词组“global search regular expression and print out the line”的缩写,意思是用于全面搜索的正则表达式,并将结果输出。人们通常会将grep
命令与正则表达式搭配使用,参数作为搜索过程中的补充或对输出结果的筛选,命令模式十分灵活。
与之容易混淆的是egrep
命令和fgrep
命令。如果把grep
命令当作是标准搜索命令,那么egrep
则是扩展搜索命令,等价于“grep -E
”命令,支持扩展的正则表达式。而fgrep
则是快速搜索命令,等价于“grep -F
”命令,不支持正则表达式,直接按照字符串内容进行匹配。
语法格式: grep [参数] 文件
常用参数:
参数 | 功能 |
---|---|
-i | 忽略大小写 |
-c | 只输出匹配行的数量 |
-l | 只列出符合匹配的文件名,不列出具体的匹配行 |
-n | 列出所有的匹配行,显示行号 |
-h | 查询多文件时不显示文件名 |
-s | 不显示不存在、没有匹配文本的错误信息 |
-v | 显示不包含匹配文本的所有行 |
-w | 匹配整词 |
-x | 匹配整行 |
-r | 递归搜索 |
-q | 禁止输出任何结果,已退出状态表示搜索是否成功 |
-b | 打印匹配行距文件头部的偏移量,以字节为单位 |
-o | 与-b 结合使用,打印匹配的词据文件头部的偏移量,以字节为单位 |
-F | 匹配固定字符串的内容 |
-E | 支持扩展的正则表达式 |
- 搜索某个文件中,包含某个关键词的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
- 搜索某个文件中,以某个关键词开头的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash
- 搜索多个文件中,包含某个关键词的内容:
root@DESKTOP-VQ8KID4:~# grep lucky /etc/passwd /etc/shadow
/etc/passwd:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
/etc/shadow:lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::
- 搜索多个文件中,包含某个关键词的内容,不显示文件名称:
root@DESKTOP-VQ8KID4:~# grep -h lucky /etc/passwd /etc/shadow
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::
- 输出在某个文件中,包含某个关键词行的数量:
root@DESKTOP-VQ8KID4:~# grep -c root /etc/passwd /etc/shadow
/etc/passwd:1
/etc/shadow:1
- 搜索某个文件中,包含某个关键词位置的行号及内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -n int nowcoder.txt
3:int main()
5: int a = 10;
6: int b = 100;
- 搜索某个文件中,不包含某个关键词的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -v int nowcoder.txt
#include <iostream>
using namespace std;
{
cout << "a + b:" << a + b << endl;
return 0;
}
- 搜索当前工作目录中,包含某个关键词内容的文件,未找到则提示:
root@DESKTOP-VQ8KID4:/# grep -l root *
grep: bin: Is a directory
grep: boot: Is a directory
grep: dev: Is a directory
grep: etc: Is a directory
grep: home: Is a directory
init
grep: lib: Is a directory
grep: lib32: Is a directory
...
grep: tmp: Is a directory
grep: usr: Is a directory
grep: var: Is a directory
- 搜索当前工作目录中,包含某个关键词内容的文件,未找到不提示:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -sl main *
nowcoder.txt
- 递归搜索,不仅搜索指定目录,还搜索其内子目录内是否有关键词文件:
root@DESKTOP-VQ8KID4:/# grep -srl root /etc
/etc/services
/etc/ltrace.conf
/etc/systemd/logind.conf
/etc/crontab
/etc/newt/palette.ubuntu
/etc/xattr.conf
/etc/apparmor.d/tunables/home
...
- 搜索某个文件中,精准匹配到某个关键词的内容(搜索词应与整行内容完全一样才会显示,有别于一般搜索):
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x "return 0;" nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ grep -x " return 0;" nowcoder.txt
return 0;
- 判断某个文件中,是否包含某个关键词,通过返回状态值输出结果(0为包含,1为不包含),方便在Shell脚本中判断和调用:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -q return nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $? # 包含
0
lucky@DESKTOP-VQ8KID4:~/shell$ grep -q returns nowcoder.txt
lucky@DESKTOP-VQ8KID4:~/shell$ echo $? # 不包含
1
- 搜索某个文件中,空行的数量:
lucky@DESKTOP-VQ8KID4:~/shell$ grep -c ^$ nowcoder.txt
0
grep
:搭配正则表达式的使用
该命令的格式为:
grep [-cinvABC] 'word' filename
其常用的选项如下所示:
-c
:不是打印符合要求的行数;-i
:表示忽略大小写;-n
:表示输出符合要求的行及其行号;-v
:表示打印不符合要求的行;-A
:后面跟一个数字(有无空格都可以),例如-A2
表示打印符合要求的行以及下面两行;-B
:后面跟一个数字,例如-B2
表示打印符合要求的行以及上面两行;-C
:后面跟一个数字,例如-C2
表示打印符合要求的行以及上下两行。
举一些例子:
- 对于
-A2
、-B2
、-C2
用法的演示
lucky@DESKTOP-VQ8KID4:~$ grep -A2 "sshd" /etc/passwd
sshd:x:109:65534::/run/sshd:/usr/sbin/nologin
landscape:x:110:115::/var/lib/landscape:/usr/sbin/nologin
pollinate:x:111:1::/var/cache/pollinate:/bin/false
lucky@DESKTOP-VQ8KID4:~$ grep -B2 "sshd" /etc/passwd
uuidd:x:107:112::/run/uuidd:/usr/sbin/nologin
tcpdump:x:108:113::/nonexistent:/usr/sbin/nologin
sshd:x:109:65534::/run/sshd:/usr/sbin/nologin
lucky@DESKTOP-VQ8KID4:~$ grep -C2 "sshd" /etc/passwd
uuidd:x:107:112::/run/uuidd:/usr/sbin/nologin
tcpdump:x:108:113::/nonexistent:/usr/sbin/nologin
sshd:x:109:65534::/run/sshd:/usr/sbin/nologin
landscape:x:110:115::/var/lib/landscape:/usr/sbin/nologin
pollinate:x:111:1::/var/cache/pollinate:/bin/false
- 取出以
/bin/bash
结尾的行
lucky@DESKTOP-VQ8KID4:~$ grep '/bin/bash$' /etc/passwd
root:x:0:0:root:/root:/bin/bash
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 过滤出不带有某个关键词的行,并输出行号
lucky@DESKTOP-VQ8KID4:~$ grep -nv 'login' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
5:sync:x:4:65534:sync:/bin:/bin/sync
25:tss:x:106:111:TPM software stack,,,:/var/lib/tpm:/bin/false
30:pollinate:x:111:1::/var/cache/pollinate:/bin/false
31:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
- 单独查找
root
是否存在命令
也即是查出以root
开头的字符
lucky@DESKTOP-VQ8KID4:~$ grep "^root:" /etc/passwd
root:x:0:0:root:/root:/bin/bash
- 过滤出带有某个关键词的行,并输出行号
lucky@DESKTOP-VQ8KID4:~$ grep -n 'root' /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
- 滤出所有包含数字的行
lucky@DESKTOP-VQ8KID4:~$ grep '[0-9]' param.sh
for ((i=0;i<=10;i+=3))
- 过滤出所有不包含数字的行
lucky@DESKTOP-VQ8KID4:~$ grep -v '[0-9]' param.sh
do
echo $i
done
- 过滤掉所有以
#
开头的行
lucky@DESKTOP-VQ8KID4:~$ cat three.py
# print("hello world")
print("gagagagagagag")
lucky@DESKTOP-VQ8KID4:~$ grep '^#' three.py
# print("hello world")
lucky@DESKTOP-VQ8KID4:~$ grep -v '^#' three.py
print("gagagagagagag")
- 过滤掉所有空行和以
#
开头的行
首先,参考上面筛选出空行的正则表达式,一共有两种方法。
^$
:表示空行^[ ]*$
:表示空行以及全是空格的行
lucky@DESKTOP-VQ8KID4:~$ grep '^$' three.py
lucky@DESKTOP-VQ8KID4:~$ grep '^[ ]*$' three.py
第二种会把全是空格的行也过滤出来,第一种只会过滤出空行。
所以,同时过滤掉所有空行和以#
开头的行的指令如下:
lucky@DESKTOP-VQ8KID4:~$ grep -v '^[ ]*$' three.py | grep -v '^#'
print("gagagagagagag")
- 打印出不以英文字母开头的行
lucky@DESKTOP-VQ8KID4:~$ grep '^[^a-zA-Z]' three.py
# print("hello world")
[^字符]
表示除[ ]
内字符之外的字符。在正则表达式中,^
表示行的开始,$
表示行的结尾。两个^
表达的意思不一样!
- 过滤出任意一个字符和重复字符
lucky@DESKTOP-VQ8KID4:~$ grep 'r.o' /etc/passwd
root:x:0:0:root:/root:/bin/bash
.
表示任意一个字符。上例中,r.o
表示把r
与o
之间有一个任意字符的行过滤出来。
下例中,. *
表示零个或多个任意字符,空行也包含在内,它会把/etc/passwd
文件里面的所有行都匹配到。
lucky@DESKTOP-VQ8KID4:~$ grep '.*' /etc/passwd | wc -l
31
- 指定要过滤出的字符出现次数
lucky@DESKTOP-VQ8KID4:~$ grep 'o\{2\}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
这里用到了符号{ }
,其内部为数字,表示前面的字符要重复的次数。需要强调的是,{ }
左右都需要加上转义字符\
。另外,使用“{ }
”还可以表示一个范围,具体格式为{n1,n2}
,其中n1<n2
,表示重复n1
到n2
次前面的字符,n2
还可以为空,这时表示大于等于n1
次。
egrep
:搭配正则表达式的使用
egrep
是grep
的扩展版本,可以完成grep
不能完成的工作。
egrep
命令来自于英文词组“extended Global Regular Expression Print”的缩写,其功能是用于在文件内查找指定的字符串。egrep
命令的执行效果与grep -E
相似,使用参数也可以直接参考grep
命令,不同点在于改良了grep
命令原有的一些字符串处理功能,支持了更多正则表达式规则。
例子如下:
- 过滤出一个或多个指定的字符
lucky@DESKTOP-VQ8KID4:~$ egrep 'o+' /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
games:x:5:60:games:/usr/games:/usr/sbin/nologin
...
和grep
不同,这里egrep
使用的是符号+
,它表示匹配1个或多个+
前面的字符,这个“+
”是不支持被grep
直接使用的。包括上面的{ }
,也是可以直接被egrep
使用,而不用加\
转义,示例如下:
lucky@DESKTOP-VQ8KID4:~$ egrep 'o{2}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
uucp:x:10:10:uucp:/var/spool/uucp:/usr/sbin/nologin
- 过滤出零个或一个指定的字符
lucky@DESKTOP-VQ8KID4:~$ egrep 'o?' /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
...
- 过滤出字符串1或者字符串2
lucky@DESKTOP-VQ8KID4:~$ egrep 'root|lucky' /etc/passwd
root:x:0:0:root:/root:/bin/bash
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
sed
:批量编辑文本文件
sed
命令来自于英文词组“stream editor”的缩写,其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed
命令最初由贝尔实验室开发,后被众多Linux系统接纳集成,能够通过正则表达式对文件进行批量编辑,让需要重复的工作不再浪费时间。
sed
是非交互式的编辑器。它不会修改文件,除非使用shell重定向来保存结果。默认情况下,所有的输出行都被打印到屏幕上。sed
编辑器逐行处理文件(或输入),并将结果发送到屏幕。
sed
命令行格式为:
sed [-nefri] ‘command’ 输入文本
常用选项:
-n
:使用安静(silent)模式。在一般sed
的用法中,所有来自STDIN的资料一般都会被列出到萤幕上。但如果加上-n
参数后,则只有经过sed
特殊处理的那一行(或者动作)才会被列出来。-e
:直接在指令列模式上进行sed
的动作编辑;-f
:直接将sed
的动作写在一个档案内,-f filename
则可以执行filename
内的sed
动作;-r
:sed
的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)-i
:直接修改读取的档案内容,而不是由萤幕输出。
常用命令:
a
:新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~c
:取代, c 的后面可以接字串,这些字串可以取代n1,n2
之间的行!d
:删除,因为是删除啊,所以 d 后面通常不接任何咚咚;i
:插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);p
:列印,亦即将某个选择的资料印出。通常 p 会与参数sed -n
一起运作~s
:取代,可以直接进行取代的工作哩!通常这个s
的动作可以搭配正规表示法!例如1,20s/old/new/g!
g
:是行内进行全局替换
常用参数:
参数 | 功能 |
---|---|
-e | 以指定的脚本来处理输入的文本文件 |
-f<script文件> | 以指定的脚本文件来处理输入的文本文件 |
-h | 显示帮助 |
-n | 仅显示script 处理后的结果 |
-V | 显示版本信息 |
参考实例
- 查找指定文件中带有某个关键词的行:
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '/main/p' nowcoder.txt
int main()
- 替换指定文件中某个关键词成大写形式:
lucky@DESKTOP-VQ8KID4:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
INT a = 10;
INT b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
有点巧,这和前面学的Vim里面的替换基本一样。
- 读取指定文件,删除所有带有某个关键词的行:
lucky@DESKTOP-VQ8KID4:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
cout << "a + b:" << a + b << endl;
return 0;
}
- 读取指定文件,在第4行后插入一行新内容:
lucky@DESKTOP-VQ8KID4:~/shell$ sed -e '4a\ cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
cout << "hello world" << end;
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
- 读取指定文件,在第4行后插入多行新内容:
lucky@DESKTOP-VQ8KID4:~/shell$ cat nowcoder.txt | sed -e '4a\ cout << "hello world"
<< endl; \n cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
cout << "hello world" << endl;
cout << "hello aha" << endl;
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
- 读取指定文件,删除第2-5行的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ cat -n nowcoder.txt | sed '2,5d'
1 #include <iostream>
6 int b = 100;
7 cout << "a + b:" << a + b << endl;
8 return 0;
9 }
- 读取指定文件,替换第2-5行的内容:
lucky@DESKTOP-VQ8KID4:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
int b = 100;
cout << "a + b:" << a + b << endl;
return 0;
}
- 指定读取某个文件的第3-7行:
lucky@DESKTOP-VQ8KID4:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
int a = 10;
int b = 100;
cout << "a + b:" << a + b << endl;
tail
:查看文件尾部内容
tail
命令的功能是用于查看文件尾部内容,例如默认会在终端界面上显示出指定文件的末尾十行,如果指定了多个文件,则会在显示的每个文件内容前面加上文件名来加以区分。
高阶玩法的-f
参数作用是持续显示文件的尾部最新内容,类似于机场候机厅的大屏幕,总会把最新的消息展示给用户,对阅读日志文件尤为适合,而不需要手动刷新。
语法格式:tail [参数] 文件
常用参数:
参数 | 功能 |
---|---|
-c | 输出文件尾部的N(N为整数)个字节内容 |
-f | 持续显示文件最新追加的内容 |
-F <N> | 与选项“-follow=name”和“–retry”连用时功能相同 |
-n <N> | 输出文件的尾部N(N位数字)行内容 |
--retry | 即是在tail命令启动时,文件不可访问或者文件稍后变得不可访问,都始终尝试打开文件 |
--pid | 与“-f”选项连用,当指定的进程号的进程终止后,自动退出tail命令 |
--help | 显示指令的帮助信息 |
- 实时输出文件的最新更新内容
tail -f nowcoder.txt
- 输出文件的最后5行
tail -n 5 nowcoder.txt # tail -5 nowcoder.txt
- 输出从第5行开始到文件结尾的内容
tail -n +5 nowcoder.txt
- 输出从倒数第五行开始到文件结尾的内容
tail -n -5 nowcoder.txt
- 不加任何参数,默认输出10行
tail nowcoder.txt
- 表示输出文件最后5个字节
tail -c 5 nowcoder.txt
head
:显示文件开头的内容
head
命令的功能是显示文件开头的内容,默认为前10行。
语法格式:head [参数] 文件
常用参数:
-n <数字> | 定义显示行数 |
---|---|
-c <数字> | 指定显示头部内容的字符数 |
-v | 总是显示文件名的头信息 |
-q | 不显示文件名的头信息 |
- 默认显示文件的前10行内容:
lucky@DESKTOP-VQ8KID4:~$ head nowcoder.txt
welcome
to
nowcoder
this
is
shell
code
- 显示文件名的头信息
lucky@DESKTOP-VQ8KID4:~$ head -v nowcoder.txt
==> nowcoder.txt <==
welcome
to
nowcoder
this
is
shell
code
- 指定显示文件的前5行内容:
lucky@DESKTOP-VQ8KID4:~$ head -n 5 nowcoder.txt
welcome
to
nowcoder
this
is
seq
:打印数字序列
seq
命令用于输出连续的数字、固定间隔的数字、指定格式的数字。
语法格式: seq [参数]
常用参数:
-f | 格式 |
---|---|
-s | 字符串 |
-w | 在列前添加0 使得宽度相同 |
具体示例如下:
输出连续的数字
lucky@DESKTOP-VQ8KID4:~$ seq 1 10
1
2
3
4
5
6
7
8
9
10
表示: 输出所有1到100之间的数字;
输出固定间隔的数字
lucky@DESKTOP-VQ8KID4:~$ seq 0 3 10
0
3
6
9
表示: 输出所有0到10内3的倍数;
输出指定格式的数字
-s
用于使用指定的字符串分割数字
lucky@DESKTOP-VQ8KID4:~$ seq -s "+" 1 10
1+2+3+4+5+6+7+8+9+10
表示:输出1到10之间的数字,每个数字间由+
号间隔;
-f
使用print
样式的浮点格式输出,默认使用%g
lucky@DESKTOP-VQ8KID4:~$ seq -f "file%g" 1 5
file1
file2
file3
file4
file5
for
循环
实现for
循环的方式有三种:
- 带循环
list
的for
循环 - 不带循环
list
的for
循环 - C语法结果的
for
循环。
带循环list
的for
循环
- 实现一:依次输出训练
list
中的内容 【list
内容可以是数字也可以是字符串】
for item in 1 4 5 hello world
do
echo $item
done
- 实现二:依次输出一个范围内的值,如下为输出1到5的值
for item in {1..5}
do
echo $item
done
- 实现三: 设置输出的间隔值,如下为间隔2输出【也就是输出10以内的所有奇数】
for item in {1..10..2}
do
echo $item
done
- 实现四: 输出当前目录下所有的文件和文件夹
for file in $(ls)
do
echo $file
done
或者
for file in *
do
echo $file
done
不带循环list
的for
循环
将输入的参数循环输出【这里使用@
来获取参数列表】,脚本test.sh
内容如下:
lucky@DESKTOP-VQ8KID4:~$ cat param.sh
echo "input the world:"
for item in "$@"
do
echo $item
done
echo "total param : $#"
lucky@DESKTOP-VQ8KID4:~$ bash param.sh hello world
input the world:
hello
world
total param : 2
【备注】$@
获取参数列表内容; $#
获取输入参数的个数。
C语法结果的for
循环
基本是C语言的语法:
lucky@DESKTOP-VQ8KID4:~$ cat param.sh
for ((i=0;i<=10;i+=3))
do
echo $i
done
lucky@DESKTOP-VQ8KID4:~$ bash param.sh
0
3
6
9
tr
:字符转换工具
tr
命令来自于英文单词transform的缩写,中文译为转换,其功能是用于字符转换。tr
命令是一款批量字符转换、压缩、删除的文本工具,但仅能从标准输入中读取文本内容,需要与管道符或输入重定向操作符搭配使用。
语法格式:tr [参数] 字符串1 字符串2
常用参数:
-c | 反选字符串1的补集(取反) |
---|---|
-d | 删除字符串1中出现的所有字符 |
-s | 删除所有重复出现的字符序列 |
将指定文件中的小写字母转换成大写字母后输出内容到终端界面:
lucky@DESKTOP-VQ8KID4:~$ tr [a-z] [A-Z] < hello.py
ABC
567
AAA
BBB
CCC
删除指定文件中所有的数字后输出内容到终端界面:
lucky@DESKTOP-VQ8KID4:~$ tr -d [0-9] < hello.py
abc
aaa
bbb
ccc
将指定文件中的多个相邻空行去重后输出内容到终端界面:
lucky@DESKTOP-VQ8KID4:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc
xargs
:给其他命令传参数的过滤器
xargs
命令来自于英文词组” extended arguments“的缩写,其功能是用于给其他命令传参数的过滤器。xargs
命令能够处理从标准输入或管道符输入的数据,并将其转换成命令参数,也可以将单行或多行输入的文本转换成其他格式。
xargs
命令默认接收的信息中,空格是默认定界符,所以可以接收包含换行和空白的内容。
语法格式: xargs [参数]
常用参数:
-n | 多行输出 |
---|---|
-d | 自定义一个定界符 |
-I | 指定一个替换字符串{} |
-t | 打印出xargs 执行的命令 |
-p | 执行每一个命令时弹出确认 |
参考实例
- 默认以空格为定界符,以多行形式输出文件内容,每行显示一三段内容值:
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt | xargs -n 1
how
they
are
implemented
and
applied
in
computer
- 指定字符
X
为定界符,默认以单行的形式输出字符串内容:
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX
First Second Third Fourth Fifth
- 定字符
X
为定界符,以多行形式输出文本内容,每行显示两段内容值:
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2
First Second
Third Fourth
Fifth
- 设定每一次输出信息时,都需要用户手动确认后再显示到终端界面:
lucky@DESKTOP-VQ8KID4:~$ echo "FirstXSecondXThirdXFourthXFifth" | xargs -dX -n 2 -p
echo First Second ?...y
First Second
echo Third Fourth ?...y
Third Fourth
echo 'Fifth'$'\n' ?...n
expr
:命令行计数器
e
命令的英文全称是“expression”,即是表达式的意思,作用是一个命令行的计数器,常用于在UNIX/LINUX系统中求表达式变量的值,一般用于整数值,也可用于字符串。
语法格式:expr [表达式]
常用参数:
空格 | 隔开每个项 |
---|---|
\(反斜杠) | 放在 shell 特定的字符前面 |
“”(引号) | 对包含空格和其他特殊字符的字符串要用引号括起来 |
参考实例
- 计算字串长度:
lucky@DESKTOP-VQ8KID4:~$ expr length "sdjf"
4
- 抓取字串:
lucky@DESKTOP-VQ8KID4:~$ expr substr "this is a test text" 3 5
is is
从第三个字母开始,截取5个字符的子串。
- 抓取第一个字符数字串出现的位置:
lucky@DESKTOP-VQ8KID4:~$ expr index "abcdefg" d
4
- 整数运算:
lucky@DESKTOP-VQ8KID4:~$ expr 14 + 4
18
lucky@DESKTOP-VQ8KID4:~$ expr 1000 \* 4
4000
lucky@DESKTOP-VQ8KID4:~$ expr 50 / 4 / 2
6
注意:使用乘号时,必须用反斜线屏蔽其特定含义。因为shell可能会误解显示星号的意义
- 使用
expr
进行四则运算:
lucky@DESKTOP-VQ8KID4:~$ expr \( 10 + 10 \) \* 2 + 100
140
shell脚本中的小数运算
使用bc
做小数运算
- 加法运算:运算结果小数点位数以加数中最大的为准
lucky@DESKTOP-VQ8KID4:~$ echo "5.999 + 25.001"|bc
31.000
lucky@DESKTOP-VQ8KID4:~$ echo "5.111 + 5.111235"|bc
10.222235
- 减法运算:运算结果小数点位数以两个数中最大的为准
lucky@DESKTOP-VQ8KID4:~$ echo "5.111 - 5.111235"|bc
-.000235
lucky@DESKTOP-VQ8KID4:~$ echo "25.111 - 5.111235"|bc
19.999765
- 乘法运算
lucky@DESKTOP-VQ8KID4:~$ echo "3.14 * 2.5" | bc
7.85
如果不指定scale
参数,乘积小数点位数默认以乘数中小数点位数最多的为准。如果使用scale
指定乘积的小数点位数时:(若实际的乘积小数点位数为 m
,乘数中小数点位数最多为 n
)
- 当
scale<n
时,scale
不起作用,乘积的小数点位数为n
; - 当
scale>=m
,乘积的小数点位数为m
,末尾不会补零; - 当
n<scale<m
时,乘积的小数点位数为scale
值。
- 除法运算
lucky@DESKTOP-VQ8KID4:~$ echo "scale=5;5 / 2"|bc
2.50000
除法中如果不指定scale
参数,则结果没有小数位,小数位数完全按scale
值来显示,计算结果的小数位数不足scale
的值,则末尾补0。
- 小数运算后赋值
lucky@DESKTOP-VQ8KID4:~$ a=3.2
lucky@DESKTOP-VQ8KID4:~$ b=1.5
lucky@DESKTOP-VQ8KID4:~$ c=`echo "scale=3;$a + $b"|bc`
lucky@DESKTOP-VQ8KID4:~$ echo $c
4.7
使用awk
做小数运算
awk
使用print
函数进行运算
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print '"$a"' / '"$b"'}'
1.66667
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{print "'$a'" / '"$b"'}'
1.66667
建议在
awk
中引用shell变量,使用格式:"'$var'"
或者'"$var"'
awk
使用printf
函数控制运算结果的小数点位数
lucky@DESKTOP-VQ8KID4:~$ echo "$a $b" | awk '{printf("%.3f\n", $1/$2)}'
1.667
lucky@DESKTOP-VQ8KID4:~$ a=5;b=3
lucky@DESKTOP-VQ8KID4:~$ awk 'BEGIN{printf("%.2f\n",'$a' / '$b')}'
1.67
- 运算后变量赋值
lucky@DESKTOP-VQ8KID4:~$ c=`awk -v x=2.45 -v y=3.123 'BEGIN{printf "%.2f\n",x*y}'`
lucky@DESKTOP-VQ8KID4:~$ echo $c
7.65
sort
:对文件内容进行排序
sort
命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确,一行行地手动修改实在太麻烦了。此时使用sort
命令就再合适不过了,它能够对文本内容进行再次排序。
语法格式:sort [参数] 文件
常用参数:
-b | 忽略每行前面开始出的空格字符 |
---|---|
-c | 检查文件是否已经按照顺序排序 |
-d | 除字母、数字及空格字符外,忽略其他字符 |
-f | 将小写字母视为大写字母 |
-i | 除040至176之间的ASCII字符外,忽略其他字符 |
-m | 将几个排序号的文件进行合并 |
-M | 将前面3个字母依照月份的缩写进行排序 |
-n | 依照数值的大小排序 |
-o <输出文件> | 将排序后的结果存入制定的文件 |
-r | 以相反的顺序来排序 |
-t <分隔字符> | 指定排序时所用的栏位分隔字符 |
-k | 指定需要排序的栏位 |
参考实例
对指定的文件内容按照字母顺序进行排序:
lucky@DESKTOP-VQ8KID4:~$ cat fruits.txt
watermelon
apple
blackberry
fig
kiwi
lemon
grapefruit
pineapple
banana
orange
lucky@DESKTOP-VQ8KID4:~$ sort fruits.txt
apple
banana
blackberry
fig
grapefruit
kiwi
lemon
orange
pineapple
watermelon
对指定的文件内容按照数字大小进行排序:
lucky@DESKTOP-VQ8KID4:~$ cat num.txt
32
2
56
321
33
22
1
45
lucky@DESKTOP-VQ8KID4:~$ sort -n num.txt
1
2
22
32
33
45
56
321
以冒号:
为间隔符,对指定的文件内容按照数字大小对第3列进行排序:
lucky@DESKTOP-VQ8KID4:~$ cat /etc/passwd | sort -t : -k 3 -n
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
...
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
uniq
:去除文件中的重复内容行
uniq
命令来自于英文单词unique的缩写,中文译为独特的、唯一的,其功能是用于去除文件中的重复内容行。uniq
命令能够去除掉文件中相邻的重复内容行,如果两端相同内容中间夹杂了其他文本行,则需要先使用sort
命令进行排序后再去重复,这样保留下来的内容就都是唯一的了。
划重点:去除相邻重复内容行!
语法格式:uniq [参数] 文件
常用参数:
-c | 打印每行在文本中重复出现的次数 |
---|---|
-d | 每个重复纪录只出现一次 |
-u | 只显示没有重复的纪录 |
参考实例
- 对指定的文件进行去重操作:
lucky@DESKTOP-VQ8KID4:~$ cat test.txt
nowcoder
nowcoder
nowcoder
to
welcome
welcome
lucky@DESKTOP-VQ8KID4:~$ uniq test.txt
nowcoder
to
welcome
- 统计相同内容行在文件中重复出现的次数:
lucky@DESKTOP-VQ8KID4:~$ uniq -c test.txt
3 nowcoder
1 to
2 welcome
- 仅显示指定文件中存在一模一样内容行的信息:
lucky@DESKTOP-VQ8KID4:~$ uniq -d test.txt
nowcoder
welcome
- 仅显示指定文件中没有存在一摸一样内容行的信息:
lucky@DESKTOP-VQ8KID4:~$ uniq -u test.txt
to
substr()
:截取子串
第一种方法:substr()
配合awk
命令
其语法格式:(开始索引以0或1开始)
substr(源字符串, 开始索引, 长度)
例子:
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt
a12b8
10ccc
2521abc
lucky@DESKTOP-VQ8KID4:~$ awk -F" " '{print substr($1,2,3)}' nowcoder.txt
12b
0cc
521
正如上面提到的,开始索引以1开始和从0开始都一样:
lucky@DESKTOP-VQ8KID4:~$ awk -F" " '{print substr($1,0,3)}' nowcoder.txt
a12
10c
252
lucky@DESKTOP-VQ8KID4:~$ awk -F" " '{print substr($1,1,3)}' nowcoder.txt
a12
10c
252
第二种方法:substr()
配合expr
命令
其语法格式为:(开始索引以1开始)
expr substr 字符串 开始索引 长度
例子:
lucky@DESKTOP-VQ8KID4:~$ expr substr "sdfsdf" 2 2
df
第三种方法:可以根据特定字符偏移和长度,使用另一种形式的变量扩展,来选择特定子字符串。【开始索引为0】
其语法格式为:
- 截取变量从
n1
到最后的字符串,其语法格式为:(只提供一个参数的话,默认截取到最后)
echo ${str:n1}
- 截取变量从
n1
到n2
之间的字符串。
echo ${str:n1:n2-n1}
例子:
- 从第三个字符开始截取:
lucky@DESKTOP-VQ8KID4:~$ str="dsjgopj"
lucky@DESKTOP-VQ8KID4:~$ echo ${str:2}
jgopj
- 截取第三个字符到第五个字符:
lucky@DESKTOP-VQ8KID4:~$ str="dsjgopj"
lucky@DESKTOP-VQ8KID4:~$ echo ${str:2:2}
jg
cut
:按列提取文件内容
cut
命令的功能是用于按列提取文件内容。常用的grep
命令仅能对关键词进行按行提取过滤,而cut
命令则是可以根据指定的关键词信息,针对特定的列内容进行过滤。
语法格式:cut [参数] 文件
常用参数:
-c | 以字符为单位进行分割 |
---|---|
-b | 以字节为单位进行分割 |
-d | 自定义分隔符,默认为制表符”TAB” |
-f | 显示指定字段的内容 |
-n | 取消分割多字节字符 |
--complement | 补足被选择的字节、字符或字段 |
--out-delimiter | 指定输出内容是的字段分割符 |
参考实例
- 以冒号为间隔符,仅提取指定文件中第一列的内容:
lucky@DESKTOP-VQ8KID4:~$ cut -d : -f 1 /etc/passwd
root
daemon
bin
...
sshd
landscape
pollinate
lucky
- 仅提取指定文件中每行的前4个字符:
lucky@DESKTOP-VQ8KID4:~$ head /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
lucky@DESKTOP-VQ8KID4:~$ cut -c 1-4 /etc/passwd
root
daem
bin:
sys:
sync
...
- 按照指定要求分割:比如获取后缀名
lucky@DESKTOP-VQ8KID4:~$ ls | cut -d "." -f2
txt
txt
py
txt
txt
sh
md
sh
txt
py
sh
tac
:反向列示文件内容
tac
命令就是将文件反向输出,刚好和cat
输出相反。
语法格式:tac [参数] [文件]
常用参数:
-b | 在行前而非行尾添加分隔标志 |
---|---|
-r | 将分隔标志视作正则表达式来解析 |
-s | 使用指定字符串代替换行作为分隔标志 |
参考实例:
- 反向列出
nowcoder.txt
文件的内容:
lucky@DESKTOP-VQ8KID4:~$ cat nowcoder.txt
nobody:*:-2:-2:Unprivileged User:/var/empty:/usr/bin/false
root:*:0:0:System Administrator:/var/root:/bin/sh
lucky@DESKTOP-VQ8KID4:~$ tac nowcoder.txt
root:*:0:0:System Administrator:/var/root:/bin/sh
nobody:*:-2:-2:Unprivileged User:/var/empty:/usr/bin/false
echo
:输出字符串或提取后的变量值
echo
是用于在终端设备上输出指定字符串或变量提取后值的命令,能够给用户一些简单的提醒信息,也可以将输出的指定字符串内容同管道符一起传递给后续命令作为标准输入信息再来进行二次处理,又或者同输出重定向符一起操作,将信息直接写入到文件中。
如需提取变量值,需在变量名称前加入$
符号做提取,变量名称一般均为大写形式。
语法格式:echo [参数] 字符串/变量
常用参数:
-n | 不输出结尾的换行符 |
---|---|
-e "\\a" | 发出警告音 |
-e "\\b" | 删除前面的一个字符 |
-e "\\c" | 结尾不加换行符 |
-e "\\f" | 换行,光标扔停留在原来的坐标位置 |
-e "\\n" | 换行,光标移至行首 |
-e "\\r" | 光标移至行首,但不换行 |
-E | 禁止反斜杠转移,与-e参数功能相反 |
参考实例
- 输出指定字符串到终端设备界面(默认为电脑屏幕):
wz@lucky:~$ echo hello world
hello world
- 输出某个变量值内容:
wz@lucky:~$ echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
- 搭配转义符一起使用,输出纯字符串内容:
wz@lucky:~$ echo \$PATH
$PATH
- 搭配输出重定向符一起使用,将字符串内容直接写入文件中:
wz@lucky:~$ echo Hello World > hello.txt
wz@lucky:~$ cat hello.txt
Hello World
- 搭配反引号执行命令,并将执行结果输出:
wz@lucky:~$ echo `uptime`
19:41:45 up 7 min, 1 user, load average: 0.17, 0.54, 0.37
- 输出带有换行符的内容:
wz@lucky:~$ echo -e "One\nTwo\nThree"
One
Two
Three
- 指定删除字符串中某些字符,随后将内容输出:
wz@lucky:~$ echo -e "123\b456"
12456
printf
:shell 输出
printf
命令模仿 C 程序库(library)里的 printf()
程序。
printf
使用引用文本或空格分隔的参数,外面可以在printf
中使用格式化字符串,还可以制定字符串的宽度、左右对齐方式等。默认printf
不会像echo
自动添加换行符,我们可以手动添加\n
。
语法格式: printf [格式控制字符串] [参数]
常用参数:
\\a | 警告字符,通常为ASCII的BEL字符 |
---|---|
\\n | 换行 |
\\r | 回车 |
\\0ddd | 表示1到3位的八进制值字符 |
\\ddd | 表示1到3位数八进制值的字符。仅在格式字符串中有效 |
参考实例
- 字符串输出:
lucky@DESKTOP-VQ8KID4:~$ printf "Hello, Shell\n"
Hello, Shell
- 下面用一个脚本来体现
printf
的强大功能:
lucky@DESKTOP-VQ8KID4:~$ cat printf.sh
printf "%-10s %-8s %-4s\n" 姓名 性别 体重kg
printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
printf "%-10s %-8s %-4.2f\n" 杨过 男 48.6543
printf "%-10s %-8s %-4.2f\n" 郭芙 女 47.9876
执行脚本,输出结果如下所示:
lucky@DESKTOP-VQ8KID4:~$ bash printf.sh
姓名 性别 体重kg
郭靖 男 66.12
杨过 男 48.65
郭芙 女 47.99
解释:
%s
%c
%d
%f
都是格式替代符%-10s
指一个宽度为10个字符(-
表示左对齐,没有则表示右对齐),任何字符都会被显示在10个字符宽的字符内,如果不足则自动以空格填充,超过也会将内容全部显示出来。%-4.2f
指格式化为小数,其中.2
指保留2位小数。
- 格式控制字符串为双引号:
lucky@DESKTOP-VQ8KID4:~$ printf "%d %s\n" 1 "abc"
1 abc
- 格式控制字符串为单引号:
lucky@DESKTOP-VQ8KID4:~$ printf '%d %s\n' 1 "abc"
1 abc
- 没有引号也可以输出:
lucky@DESKTOP-VQ8KID4:~$ printf %s abcdef
abcdef
Shell中的字符串拼接
字符串拼接的方式很简单,直接相连即可,比如:
wz@lucky:~$ strs="1+1="
wz@lucky:~$ strs=$strs"2"
wz@lucky:~$ echo $strs
1+1=2
另外,如果有变量,可以把字符串变量添加进{}
,并且需要把$
放到外面,直接相连就行了,如下例子:
wz@lucky:~$ name='aha'
wz@lucky:~$ strs="hello"
wz@lucky:~$ new_str=${strs}" "${name}
wz@lucky:~$ echo $new_str
hello aha
字符串截取方法总结
以char
变量来演示:
lucky@DESKTOP-VQ8KID4:~$ char=http://www.baidu.com/123.html
#
号截取,删除左边字符,保留右边字符。
lucky@DESKTOP-VQ8KID4:~$ echo ${char#*//}
www.baidu.com/123.html
其中var
是变量名,#
号是运算符,*//
表示从左边开始删除第一个//
号及左边的所有字符。
##
号截取,删除左边字符,保留右边字符。
lucky@DESKTOP-VQ8KID4:~$ echo ${char##*/}
123.html
##*/
表示从左边开始删除最后(最右边)一个/
号及左边的所有字符。
%
号截取,删除右边字符,保留左边字符
lucky@DESKTOP-VQ8KID4:~$ echo ${char%/*}
http://www.baidu.com
%/*
表示从右边开始,删除第一个/
号及右边的字符。
%%
号截取,删除右边字符,保留左边字符
lucky@DESKTOP-VQ8KID4:~$ echo ${var%%/*}
http:
%%/*
表示从右边开始,删除最后(最左边)一个/
号及右边的字符。
- 从左边第几个字符开始,及字符的个数
lucky@DESKTOP-VQ8KID4:~$ echo ${char:0:5}
http:
其中的 0 表示左边第一个字符开始,5 表示字符的总个数。
- 从左边第几个字符开始,一直到结束。
lucky@DESKTOP-VQ8KID4:~$ echo ${char:7}
www.baidu.com/123.html
其中的 7 表示左边第8个字符开始,一直到结束。
- 从右边第几个字符开始,及字符的个数
lucky@DESKTOP-VQ8KID4:~$ echo ${char:0-7:3}
23.
其中的 0-7 表示右边算起第七个字符开始,3 表示字符的个数。
- 从右边第几个字符开始,一直到结束。
lucky@DESKTOP-VQ8KID4:~$ echo ${char:0-7}
23.html
表示从右边第七个字符开始,一直到结束。
注:左边的第一个字符是用 0 表示,右边的第一个字符用 0-1 表示
获取字符串长度的七种方法
为了方便演示,定义一个str
变量
lucky@DESKTOP-VQ8KID4:~$ str="edjaopjfaopsjf"
方法一:利用${#str}
来获取字符串的长度
lucky@DESKTOP-VQ8KID4:~$ echo ${#str}
14
方法二:利用awk
的length
方法
lucky@DESKTOP-VQ8KID4:~$ echo $str | awk '{print length($0)}'
14
也可以用length($0)
来统计文件中每行的长度
lucky@DESKTOP-VQ8KID4:~$ awk '{print length($0)}' /etc/passwd
31
47
36
...
方法三:利用awk
的NF
项来获取字符串长度
lucky@DESKTOP-VQ8KID4:~$ echo $str | awk -F "" '{print NF}'
14
-F
参数为分隔符,NF
为域的个数,即单行字符串的长度。
方法四:利用wc
的-L
参数来获取字符串的长度
lucky@DESKTOP-VQ8KID4:~$ echo $str | wc -L
14
-L
参数对单行字符串而言,表示当前行字符串的长度!但对多行文件来说,表示打印最长行的长度!
lucky@DESKTOP-VQ8KID4:~$ wc -L /etc/passwd
89 /etc/passwd
89表示
/etc/passwd
文件最长行的长度为89。
方法五:利用wc
的-c
参数,结合echo -n
参数
lucky@DESKTOP-VQ8KID4:~$ echo -n $str | wc -c
14
lucky@DESKTOP-VQ8KID4:~$ echo $str | wc -c
15
-c
参数:统计字符的个数-n
参数:除"\n
"换行符,不去除的话,默认带换行符,字符个数就成了15
方法六:利用expr
的length
方法
lucky@DESKTOP-VQ8KID4:~$ expr length $str
14
方法七:利用expr
的$str : ".*"
技巧
lucky@DESKTOP-VQ8KID4:~$ expr $str : ".*"
14
.*
代表任意字符,即用任意字符来匹配字符串,结果是匹配到14个,即字符串的长度为14。