我们经常能在shell脚本中发现shellCmd >/dev/null 2>&1
这样的语句。以前的我并没有去深入地理解这段命令的作用,照搬照用,直到上周我将这段命令不小心写成了shellCmd 2>&1 >/dev/null
,出了一点小问题之后,我才开始去了解这段命令背后的“玄机”。
1. shell重定向简介
一段程序会处理外部的输入,然后把运算结果输出到指定位置。在交互式程序中,输入来自用户的键盘和鼠标,结果输出到用户的屏幕,甚至播放设备中。而对于某些后台运行的程序,输入可能来自于外部的一些文件,运算结果通常又会写到其他的文件中。而且,在程序运行过程中,会有一些关键性信息,比如异常堆栈,外部接口调用等情况,这些都会统统写到日志文件里。
1.1 文件描述符
当执行shell命令时,linux会默认打开3个文件,每个文件有对应的文件描述符来方便我们使用:
类型 | 文件描述符 | 默认情况 | 对应文件句柄位置 |
---|---|---|---|
标准输入(standard input) | 0 | 从键盘获得输入 | /proc/slef/fd/0 |
标准输出(standard output) | 1 | 输出到控制台(即屏幕) | /proc/slef/fd/1 |
错误输出(error output) | 2 | 输出到控制台(即屏幕) | /proc/slef/fd/2 |
所以我们平时在执行shell命令中,都默认是从键盘获得输入,并且将结果输出到控制台上。但是我们可以通过更改文件描述符默认的指向,从而实现输入输出的重定向。比如我们将1指向文件,那么标准的输出就会输出到文件。
1.2 输出重定向
输出重定向的使用方式很简单,如下:
命令 | 介绍 |
---|---|
shellCmd >filename | 把标准输出重定向到新文件中 |
shellCmd 1>filename | 同上 |
shellCmd >>filename | 把标准输出追加到文件中 |
shellCmd 1>>filename | 同上 |
shellCmd 2>filename | 把标准错误重定向到新文件中 |
shellCmd 2>>filename | 把标准错误追加到新文件中 |
我们使用>
或者>>
对输出进行重定向。重定向符号(>
或者>>
)左边表示文件描述符,如果没有的话默认是1,也就是标准输出;重定向符号的右边可以是一个文件,也可以是一个输出设备。
当使用>
时,shell会判断重定向符号右边的文件存不存在,如果存在的话就先删除,然后创建一个新的文件;不存在的话则直接创建。但是,当使用>>
时,则不会删除原来已经存在的文件。
我们来看下面的例子:我们创建一个测试目录,目录下面仅有一个a.txt文件。
在我们执行ls a.txt b.txt
之后,一共有两种输出:ls: 无法访问b.txt: 没有那个文件或目录
是错误输出,a.txt
是标准输出。
# tree
.
└── a.txt
0 directories, 1 file
# ls a.txt b.txt
ls: 无法访问b.txt: 没有那个文件或目录
a.txt
接着,我们把原来的标准输出1重定向到out文件中,所以控制台只剩下了错误提示ls: 无法访问b.txt: 没有那个文件或目录
,并且当我们使用>>
执行追加操作时,out文件的内容非但没有被清空,反而又多了一条记录a.txt。
# ls a.txt b.txt 1>out
ls: 无法访问b.txt: 没有那个文件或目录
# cat out
a.txt
# ls a.txt b.txt >>out
ls: 无法访问b.txt: 没有那个文件或目录
# cat out
a.txt
a.txt
我们也可以把错误输出2重定向到文件:
# ls a.txt b.txt 2>err
a.txt
# cat err
ls: 无法访问b.txt: 没有那个文件或目录
我们把错误输出2重定向到文件err,把标准输出1(在重定向符号左侧,可以省略1)重定向到文件out:
# ls a.txt b.txt >out 2>err
# cat out
a.txt
# cat err
ls: 无法访问b.txt: 没有那个文件或目录
1.3 输入重定向
我们使用符号<
对输入进行重定向,如果符号<
左边没有写值,那么默认就是0。输入重定向的基本命令如下:
命令 | 介绍 |
---|---|
command <filename | 以filename文件作为标准输入 |
command 0<filename | 同上 |
command <<delimiter | 从标准输入中读入,直到遇到delimiter分隔符 |
以cat命令为例,如果cat后面没有跟文件名的话,那它的作用就是把标准输入(比如键盘)回显到标准输出(比如屏幕)上:在屏幕上输入内容,按回车返回输入内容,所以相同内容显示2遍。
# cat
123
123
test
test
如果觉得在键盘上敲比较累,我们可以利用输出重定向>,让cat读取标准输入(键盘敲入的字符)到文件input中,我们需要使用ctrl+c来结束输入。
# cat >input
aaa
111
^C
# cat input
aaa
111
# cat >out
123
test
^C
# cat out
123
test
接着,我们使用输入重定向<
把input文件内容,输出重定向到out文件。神奇的事情发生了,out文件里面的内容被替换成了input文件里的内容。
# cat >out <input
# cat out
aaa
111
当我们输入完cat >out <<end
,然后敲下回车之后,命令并没有结束,此时cat命令像刚开始一样,等待你给它输入数据。然后当我们敲入end之后,cat命令就结束了。end之前输入的字符都已经被写入到了out文件中,这就是输入分割符<<
的作用。
# cat >out <<end
> 123
> test
> end
# cat out
123
test
2. 高级用法
2.1 重定向绑定
对于shellCmd >/dev/null 2>&1
。这条命令其实分为两个子命令,一个是>/dev/null
,另一个是2>&1
。
>/dev/null
/dev/null
代表linux的空设备文件,所有往这个文件里面写入的内容都会丢失,俗称“黑洞”。那么执行了>/dev/null
之后,标准输出1就不会再存在了,没有任何地方能够找到输出的内容。
>/dev/null
的作用是把标准输出1重定向到/dev/null
中。
2>&1
使用&
可以把两个输出重定向绑定在一起。2>&1
的作用是把错误输出和标准输出共用一个文件描述符,也就是把错误输出和标准输出输出到同一个地方。
在执行shell命令前,linux会确定所有的输入输出位置,并且从左到右依次执行重定向命令,所以>/dev/null 2>&1
的作用是让标准输出1重定向到/dev/null
中(丢弃标准输出),然后错误输出2由于重用了标准输出1的描述符,所以错误输出2也被定向到了/dev/null
中(错误输出同样也被丢弃了)。
2.2 shellCmd >/dev/null 2>&1 与 shellCmd 2>&1 >/dev/null
shellCmd >/dev/null 2>&1
执行了shellCmd >/dev/null 2>&1
后,该条shell命令将不会输出任何信息到控制台,也不会有任何信息输出到文件中。
shellCmd 2>&1 >/dev/null
linux在执行shell命令之前,就会确定好所有的输入输出位置,并且从左到右依次执行重定向命令。那么我们同样从左到右地来分析shellCmd 2>&1 >/dev/null
。
2>&1
,把错误输出2绑定到标准输出1上。由于标准输出1是默认值,也就是输出到屏幕,所以错误输出2也会输出到屏幕。>/dev/null
,把标准输出1重定向到/dev/null
中。
我们用一个表格来更好地说明这两条命令的区别:
命令 | 标准输出 | 错误输出 |
---|---|---|
shellCmd >/dev/null 2>&1 | 丢弃 | 丢弃 |
shellCmd 2>&1 >/dev/null | 丢弃 | 屏幕 |
2.3 shellCmd >/dev/null 2>&1 与 shellCmd >/dev/null 2>/dev/null
为什么要用重定向绑定,而不使用shellCmd >/dev/null 2>/dev/null
这样子重复一遍呢?我们回到输出重定向的场景。我们尝试将标准输出和错误输出都定向到out文件中:
# ls a.txt b.txt >out 2>out
# cat out
a.txt
无法访问b.txt: 没有那个文件或目录
采用这种写法,标准输出和错误输出会抢占指向out文件的管道,所以可能会导致输出内容时出现缺失、覆盖等情况。现在出现了乱码,有时也有可能出现只有error信息或者只有正常信息的情况。不管怎么说,采用这种写法,最后的情况是无法预估的。
而且,由于out文件被打开了两次,两个文件描述符会抢占性地向文件中输出内容,所以整体IO效率不如shellCmd >/dev/null 2>&1
来得高。
3. nohup结合 shellCmd >/dev/null 2>&1
我们经常使用nohup command &
命令来启动一些后台程序,比如一些go服务:
# nohup go run httpserver.go &
为了不让一些执行信息输出到前台(控制台),我们还会加上刚才提到的shellCmd >/dev/null 2>&1
命令来丢弃所有的输出:
# nohup go run httpserver.go >/dev/null 2>&1 &
4. 总结
本文主要介绍了linux重定向的原理以及一些基本命令,并且详细地分析了shellCmd >/dev/null 2>&1
这个命令以及一些注意点。
总而言之,在工作中用到最多的就是nohup shellCmd >/dev/null 2>&1 &
命令,希望大家能够好好掌握。