管道是一种通信机制,通常用于进程间的通信(也可通过 socket 进行网络通信),它表现出来的形式就是将前面每一个进程的输出(stdout)直接作为下一个进程的输入(stdin)。管道又分为匿名管道和具名管道。我们在使用一些过滤程序时经常会用到的就是匿名管道,在命令行中由 |
分隔符表示。具名管道简单的说就是有名字的管道,通常只会在源程序中用到具名管道。
ls -al /etc | less ###通过管道将前一个命令(ls
)的输出作为下一个命令(less
)的输入,然后就可以一行一行地看。
cut 命令,打印每一行的某一字段
# 前五个(包含第五个) cut /etc/passwd -c -5
# 前五个之后的(包含第五个) cut /etc/passwd -c 5-
# 第五个 cut /etc/passwd -c 5
# 2 到 5 之间的(包含第五个) cut /etc/passwd -c 2-5
grep 命令,在文本中或 stdin 中查找匹配字符串
grep
命令是很强大的,也是相当常用的一个命令,它结合正则表达式可以实现很复杂却很高效的匹配和查找。
我们搜索/home/shiyanlou
目录下所有包含"shiyanlou"的文本文件,并显示出现在文本中的行号:
grep -rnI "shiyanlou" ~
-r
参数表示递归搜索子目录中的文件,-n
表示打印匹配项行号,-I
表示忽略二进制文件。这个操作实际没有多大意义,但可以感受到 grep
命令的强大与实用。
当然也可以在匹配字段中使用正则表达式。
# 查看环境变量中以 "yanlou" 结尾的字符串 : export | grep ".*yanlou$" 其中$
就表示一行的末尾。
wc 命令,简单小巧的计数工具
wc 命令用于统计并输出一个文件中行、单词和字节的数目,比如输出 /etc/passwd
文件的统计信息: wc /etc/passwd
分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数:
# 行数 wc -l /etc/passwd
# 单词数 wc -w /etc/passwd
# 字节数 wc -c /etc/passwd
# 字符数 wc -m /etc/passwd
# 最长行字节数 wc -L /etc/passwd
(对于西文字符来说,一个字符就是一个字节,但对于中文字符一个汉字是大于 2 个字节的,具体数目是由字符编码决定的。)
再来结合管道来操作一下,下面统计 /etc 下面所有目录数: ls -dl /etc/*/ | wc -l
sort 排序命令
功能很简单就是将输入按照一定方式排序,然后再输出,它支持的排序有按字典排序,数字排序,按月份排序,随机排序,反转排序,指定特定字段进行排序等等。
默认为字典排序: cat /etc/passwd | sort
反转排序: cat /etc/passwd | sort -r
按特定字段排序: cat /etc/passwd | sort -t':' -k 3
上面的-t
参数用于指定字段的分隔符,这里是以":"作为分隔符;-k 字段号
用于指定对哪一个字段进行排序。这里/etc/passwd
文件的第三个字段为数字,默认情况下是以字典序排序的,如果要按照数字排序就要加上-n
参数:
cat /etc/passwd | sort -t':' -k 3 -n
uniq 去重命令
uniq
命令可以用于过滤或者输出重复行。
history | cut -c 8- | cut -d ' ' -f 1 | uniq
然后经过层层过滤,你会发现确是只输出了执行的命令那一列,不过去重效果好像不明显,仔细看你会发现它确实去重了,只是不那么明显,之所以不明显是因为 uniq
命令只能去连续重复的行,不是全文去重,所以要达到预期效果,我们先排序:
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq # 或者 history | cut -c 8- | cut -d ' ' -f 1 | sort -u
# 输出重复过的行(重复的只输出一个)及重复次数
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc
# 输出所有重复的行
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D