文章目录
命令执行顺序控制与管道
命令执行顺序控制
通常情况下,我们每次只能在终端输入一条命令,按下回车执行,执行完成后,我们再输入第二条命令,然后再按回车执行。
有时候我们会一次输入多条命令,这个时候的执行过程又是如何的呢?
顺序执行多条命令
当我们需要使用 apt-get
安装一个软件,安装完成后立即运行安装的软件或命令工具,又恰巧你的主机才更换的软件源还没有更新软件列表。
比如之前我们的环境中,每次重新开始实验就得 sudo apt-get update
,否则可能会报错提示 404,那么你可能会有如下一系列操作:
sudo apt-get update
# 等待执行完毕,然后输入下面的命令
sudo apt-get install some-tool # 这里 some-tool 需要替换成具体的软件包
# 等待安装完毕,然后输入软件包名称执行
some-tool
这时你可能就会想:要是我可以一次性输入完,让它自己去依次执行各命令就好了,这就是我们这一小节要解决的问题。
简单的顺序执行你可以使用 ;
来完成,比如上述操作你可以:
sudo apt-get update;sudo apt-get install some-tool;some-tool # 让它自己运行
有选择的执行命令
关于上面的操作,如果我们在让它自动顺序执行命令时,前面的命令执行不成功,而后面的命令又依赖于上一条命令的结果,那么就会造成花了时间,最终却得到一个错误的结果,而且有时候直观的看,你还无法判断结果是否正确。
那么我们需要能够有选择性的来执行命令,比如上一条命令执行成功才继续下一条,或者不成功又该做出其它什么处理,比如我们使用 which 来查找是否安装某个命令,如果找到就执行该命令,否则什么也不做,虽然这个操作没有什么实际意义,但可帮你更好的理解一些概念:
which cowsay>/dev/null && cowsay -f head-in ohch~
你如果没有安装 cowsay
,你可以先执行一次上述命令,你会发现什么也没发生,你再安装好之后你再执行一次上述命令,你也会发现一些惊喜。
上面的 &&
就是用来实现选择性执行
的,它表示如果前面的命令执行结果(不是表示终端输出的内容,而是表示命令执行状态的结果)返回 0 则执行后面的,否则不执行,你可以从 $?
环境变量获取上一次命令的返回结果:
学习过 C 语言的用户应该知道在 C 语言里面 &&
表示逻辑与,而且还有一个 ||
表示逻辑或,同样 Shell 也有一个 ||
。
它们的区别就在于,shell 中的这两个符号除了也可用于表示逻辑与和或之外,就是可以实现这里的命令执行顺序的简单控制。
||
在这里就是与&&
相反的控制效果,当上一条命令执行结果为≠0(\$?≠0)
时则执行它后面的命令:
which cowsay>/dev/null || echo "cowsay has not been install, please run 'sudo apt-get install cowsay' to install"
除了上述基本的使用之外,我们还可以结合着 &&
和 ||
来实现一些操作,比如:
which cowsay>/dev/null && echo "exist" || echo "not exist"
画个流程图来解释一下上面的流程:
管道
管道是一种通信机制,通常用于进程间的通信(也可通过 socket
进行网络通信),它表现出来的形式就是将前面每一个进程的输出(stdout)直接作为下一个进程的输入(stdin)。
管道又分为匿名管道
和具名管道
。
我们在使用一些过滤程序时经常会用到的就是匿名管道
,在命令行中由 |
分隔符表示,|
在前面的内容中我们已经多次使用到了。具名管道
简单的说就是有名字的管道,通常只会在源程序中用到具名管道。
下面我们就将通过一些常用的可以使用管道的过滤程序来帮助你熟练管道的使用。
试用
先试用一下管道,比如查看 /etc 目录下有哪些文件和目录,使用 ls
命令来查看:
ls -al /etc
有太多内容,屏幕不能完全显示,这时候可以使用滚动条或快捷键滚动窗口来查看。不过这时候可以使用管道:
ls -al /etc | less
通过管道将前一个命令(ls
)的输出作为下一个命令(less
)的输入,然后就可以一行一行地看。
cut 命令,打印每一行的某一字段
打印 /etc/passwd 文件中以 :
为分隔符的第 1 个字段和第 6 个字段分别表示用户名和其家目录:
cut /etc/passwd -d ':' -f 1,6
打印 /etc/passwd 文件中每一行的前 N 个字符:
# 前五个(包含第五个)
cut /etc/passwd -c -5
# 前五个之后的(包含第五个)
cut /etc/passwd -c 5-
# 第五个
cut /etc/passwd -c 5
# 2 到 5 之间的(包含第五个)
cut /etc/passwd -c 2-5
grep 命令,在文本中或 stdin 中查找匹配字符串
grep
命令是很强大的,也是相当常用的一个命令,它结合正则表达式可以实现很复杂却很高效的匹配和查找,这里介绍它简单的使用,而关于正则表达式后面将会有单独一小节介绍到时会再继续学习 grep
命令和其他一些命令。
grep 命令的一般形式为:
grep [命令选项]... 用于匹配的表达式 [文件]...
我们搜索/home/shiyanlou 目录下所有包含"shiyanlou"的文本文件,并显示出现在文本中的行号:
grep -rnI "shiyanlou" ~
-r
参数表示递归搜索子目录中的文件,-n
表示打印匹配项行号,-I
表示忽略二进制文件。这个操作实际没有多大意义,但可以感受到 grep 命令的强大与实用。
当然也可以在匹配字段中使用正则表达式,下面简单的演示:
# 查看环境变量中以 "yanlou" 结尾的字符串
export | grep ".*yanlou$"
其中$
就表示一行的末尾。
wc 命令,简单小巧的计数工具
wc
命令用于统计并输出一个文件中行、单词和字节的数目,比如输出 /etc/passwd 文件的统计信息:
wc /etc/passwd
分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数:
# 行数
wc -l /etc/passwd
# 单词数
wc -w /etc/passwd
# 字节数
wc -c /etc/passwd
# 字符数
wc -m /etc/passwd
# 最长行字节数
wc -L /etc/passwd
注意:对于西文字符来说,一个字符就是一个字节,但对于中文字符一个汉字是大于 2 个字节的,具体数目是由字符编码决定的。
再来结合管道来操作一下,下面统计 /etc 下面所有目录数:
ls -dl /etc/*/ | wc -l
sort 排序命令
这个命令前面我们也是用过多次,功能很简单就是将输入按照一定方式排序,然后再输出,它支持的排序有按字典排序,数字排序,按月份排序,随机排序,反转排序,指定特定字段进行排序等等。
默认为字典排序:
cat /etc/passwd | sort
反转排序:
cat /etc/passwd | sort -r
按特定字段排序:
cat /etc/passwd | sort -t':' -k 3
上面的-t
参数用于指定字段的分隔符,这里是以":
"作为分隔符;-k
字段号用于指定对哪一个字段进行排序。
这里/etc/passwd 文件的第三个字段为数字,默认情况下是以字典序排序的,如果要按照数字排序就要加上-n
参数:
cat /etc/passwd | sort -t':' -k 3 -n
注意观察第二个冒号后的数字:
uniq 去重命令
uniq
命令可以用于过滤或者输出重复行。
- 过滤重复行
我们可以使用history
命令查看最近执行过的命令(实际为读取 ${SHELL}_history 文件,如我们环境中的 .zsh_history 文件),不过你可能只想查看使用了哪个命令而不需要知道具体干了什么,那么你可能就会要想去掉命令后面的参数然后去掉重复的命令:
history | cut -c 8- | cut -d ' ' -f 1 | uniq
然后经过层层过滤,你会发现确是只输出了执行的命令那一列,不过去重效果好像不明显,仔细看你会发现它确实去重了,只是不那么明显,之所以不明显是因为 uniq
命令只能去连续重复的行,不是全文去重,所以要达到预期效果,我们先排序:
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq
# 或者
history | cut -c 8- | cut -d ' ' -f 1 | sort -u
- 输出重复行
# 输出重复过的行(重复的只输出一个)及重复次数
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc
# 输出所有重复的行
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D
tr 命令 删除或者替换字符
tr 命令可以用来删除一段文本信息中的某些文字,或者将其进行转换。
使用方式:
tr [option]...SET1 [SET2]
常用的选项有
选项 | 说明 |
---|---|
-d | 删除和 set1 匹配的字符,注意不是全词匹配也不是按字符顺序匹配 |
-s | 去除 set1 文本中连续并重复的字符 |
操作举例
# 删除 "hello shiyanlou" 中所有的'o','l','h'
$ echo 'hello shiyanlou' | tr -d 'olh'
# 将"hello" 中的ll,去重为一个l
$ echo 'hello' | tr -s 'l'
# 将输入文本,全部转换为大写或小写输出
$ echo 'input some text here' | tr '[:lower:]' '[:upper:]'
# 上面的'[:lower:]' '[:upper:]'你也可以简单的写作'[a-z]' '[A-Z]',当然反过来将大写变小写也是可以的
col 命令
col 命令可以将Tab
换成对等数量的空格键,或反转这个操作。
使用方式:
col [option]
常用的选项有
选项 | 说明 |
---|---|
-x | 将Tab转换为空格 |
-h | 将空格转换为Tab(默认选项) |
操作举例:
# 查看 /etc/protocols 中的不可见字符,可以看到很多 ^I ,这其实就是 Tab 转义成可见字符的符号
cat -A /etc/protocols
# 使用 col -x 将 /etc/protocols 中的 Tab 转换为空格,然后再使用 cat 查看,你发现 ^I 不见了
cat /etc/protocols | col -x | cat -A
join 命令 合并文件
join
命令用于将两个文件中包含相同内容的那一行合并在一起。
使用方式
join [option]… file1 file2
常用的选项有:
选项 | 说明 |
---|---|
-t | 指定分隔符,默认为空格 |
-i | 忽略大小写的差异 |
-1 | 指明第一个文件要用哪个字段来对比,默认对比第一个字段 |
-2 | 指明第二个文件要用哪个字段来对比,默认对比第一个字段 |
操作举例:
cd /home/shiyanlou
# 创建两个文件
echo '1 hello' > file1
echo '1 shiyanlou' > file2
join file1 file2
# 将 /etc/passwd 与 /etc/shadow 两个文件合并,指定以':'作为分隔符
sudo join -t':' /etc/passwd /etc/shadow
# 将 /etc/passwd 与 /etc/group 两个文件合并,指定以':'作为分隔符,分别比对第4和第3个字段
sudo join -t':' -1 4 /etc/passwd -2 3 /etc/group
paste 命令 合并文件
paste
命令与 join
命令类似,它是在不对比数据的情况下,简单地将多个文件合并一起,以 Tab
隔开。
使用方式:
paste [option] file...
常用的选项有:
选项 | 说明 |
---|---|
-d | 指定合并的分隔符,默认为 Tab |
-s | 不合并到一行,每个文件为一行 |
操作举例:
echo hello > file1
echo shiyanlou > file2
echo www.shiyanlou.com > file3
paste -d ':' file1 file2 file3
paste -s file1 file2 file3
校招真题
- 介绍
在 Linux 中,对于文本的处理和分析是极为重要的,现在有一个文件叫做 data1
,可以使用下面的命令下载:
cd /home/shiyanlou
wget https://labfile.oss.aliyuncs.com/courses/1/data1
data1
文件里记录是一些命令的操作记录,现在需要你从里面找出出现频率次数前 3 的命令并保存在 /home/shiyanlou/result。
- 目标
处理文本文件 /home/shiyanlou/data1
将结果写入 /home/shiyanlou/result
结果包含三行内容,每行内容都是出现的次数和命令名称,如“100 ls”
- 答案
cat data1 |cut -c 8-|sort|uniq -dc|sort -rn -k1 |head -3 > /home/shiyanlou/result```