Linux基础 -- 数据流重定向

2019独角兽企业重金招聘Python工程师标准>>>

1、Linux的文件描述符与重定向

文件描述符（file descriptor）：文件描述符在形式上是一个非负整数。实际上，它是一个索引值。每个进程在PCB（Process Control Block）中保存着一份文件描述符表，文件描述符就是这个表的索引，每个表项都有一个指向已打开文件的指针。即文件描述符实际上是文件指针的索引。

当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。

linux中，程序启动后，会默认打开3个文件描述符，分别是：

文件描述符	设备文件	说明
0	/dev/stdin	标准输入
1	/dev/stdout	标准输出
2	/dev/stderr	标准错误

所谓的重定向，即更改文件描述符表，根据索引（文件描述符）更改文件指针的指向。注意：Linux中一切皆文件，标准输入、标准输出和标准错误也是三个文件，0、1、2分别是这三个文件的文件指针的索引。

2、标准流的重定向

2.1、>、>>、<和<<

在Linux中可以使用>、>>、<和<<修改文件描述符关联的文件指针的指向。使用方法为：

stdin和stdout的文件指针指向（stdin默认指向终端输入，stdout默认指向终端输出）。比如：

[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ echo 'hello world' > redirect
[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ echo 'hello world man' >> redirect
[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat redirect
hello world
hello world man

• > 是定向输出到目标文件，如果文件不存在，就创建文件；如果文件存在，就将其清空；
• >> 这个是将输出内容追加到目标文件中。如果文件不存在，就创建文件；如果文件存在，则将新的内容追加到那个文件的末尾，该文件中的原有内容不受影响。 
• 当然前面没有用到的<和<<操作也是没有问题的，如你理解的一样，它们的区别在于重定向的方向不一致而已，>表示是从左到右，<右到左。

2.2、简单的重定向

默认使用终端的标准输入作为命令的输入和标准输出作为命令的输出:

[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat
i type a new line
i type a new line
^C

将cat的连续输出（heredoc方式）重定向到一个文件

$ mkdir Documents
$ cat > Documents/test.c <<EOF
#include <stdio.h>

int main()
{
    printf("hello world\n");
    return 0;
}

EOF

将一个文件作为命令的输入，标准输出作为命令的输出

$ cat Documents/test.c

 将echo命令通过管道传过来的数据作为cat命令的输入，将标准输出作为命令的输出

$ echo 'hi' | cat

 将echo命令的输出从默认的标准输出重定向到一个普通文件

$ echo 'hello shiyanlou' > redirect
$ cat redirect

 注意管道和重定向的不同：

• 管道默认是连接前一个命令的输出到下一个命令的输入
• 重定向通常是需要一个文件来建立两个命令的连接

2.3、标准错误重定向

重定向标准输出到文件，这是一个很实用的操作，另一个很实用的操作是将标准错误重定向，标准输出和标准错误都被指向伪终端的屏幕显示，所以我们经常看到的一个命令的输出通常是同时包含了标准输出和标准错误的结果的。比如下面的操作：

# 使用cat 命令同时读取两个文件，其中一个存在，另一个不存在
$ cat Documents/test.c hello.c
# 你可以看到除了正确输出了前一个文件的内容，还在末尾出现了一条错误信息
# 下面我们将输出重定向到一个文件，根据我们前面的经验，这里将在看不到任何输出了
$ cat Documents/test.c hello.c > somefile

比如：

[root@izwz9gtdx1ch4f9gn56b32z ~]# echo 'msg' > msg.c
[root@izwz9gtdx1ch4f9gn56b32z ~]# cat msg.c hello.c
msg
cat: hello.c: No such file or directory
[root@izwz9gtdx1ch4f9gn56b32z ~]# cat msg.c hello.c > msg2.c
cat: hello.c: No such file or directory

遗憾的是，这里依然出现了那条错误信息，这正是因为如我上面说的那样，标准输出和标准错误虽然都指向终端屏幕，实际它们并不一样。那有的时候我们就是要可以隐藏某些错误或者警告，那又该怎么做呢。这就需要用到我们前面讲的文件描述符了：

# 将标准错误重定向到标准输出，再将标准输出重定向到文件，注意要将重定向到文件写到前面
$ cat Documents/test.c hello.c >somefile  2>&1
# 或者只用bash提供的特殊的重定向符号"&"将标准错误和标准输出同时重定向到文件
$ cat Documents/test.c hello.c &>somefilehell

注意你应该在输出重定向文件描述符前加上&,否则shell会当做重定向到一个文件名为1的文件中。

比如：

[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat test.c hello.c > file1 2>&1
[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat file1
#include <stdio.h>
int main()
{
    print("hello world");
    return 0;
}

cat: hello.c: No such file or directory

或者：

[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat test.c hello.c &> file1
[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat file1
#include <stdio.h>
int main()
{
    print("hello world");
    return 0;
}

cat: hello.c: No such file or directory

2.4 使用tee命令同时重定向到多个文件

经常你可能还有这样的需求，除了将需要将输出重定向到文件之外也需要将信息打印在终端，那么你可以使用tee命令来实现：

$ echo 'hello shiyanlou' | tee hello

[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ echo 'hello world' | tee hello
hello world
[pierre_cai@izwz9gtdx1ch4f9gn56b32z ~]$ cat hello
hello world

2.5 exec命令

2.5.1、永久重定向

你应该可以看出我们前面的重定向操作都只是临时性的，即只对当前命令有效，那如何做到“永久”有效呢，比如在一个脚本中，你需要某一部分的命令的输出全部进行重定向，难道要让你在每个命令上面加上临时重定向的操作嘛，当然不需要，我们可以使用exec命令实现“永久”重定向。exec命令的作用是使用指定的命令替换当前的 Shell，及使用一个进程替换当前进程，或者指定新的重定向：

# 先开启一个子 Shell
$ zsh
# 使用exec替换当前进程的重定向，将标准输出重定向到一个文件
$ exec 1>somefile
# 后面你执行的命令的输出都将被重定向到文件中,直到你退出当前子shell，或取消exec的重定向（后面将告诉你怎么做）
$ ls
$ exit
$ cat somefile

比如：

2.5.2、 创建输出文件描述符

默认在 Shell 中可以有9个打开的文件描述符，上面我们使用了也是它默认提供的0,1,2号文件描述符，另外我们还可以使用3-8的文件描述符，只是它们默认没有打开而已，你可以使用下面命令查看当前 Shell 进程中打开的文件描述符：

$ cd /dev/fd/;ls -Al

同样使用exec命令可以创建新的文件描述符：

$ zsh
$ exec 3>somefile
# 先进入目录，再查看，否则你可能不能得到正确的结果，然后再回到上一次的目录
$ cd /dev/fd/;ls -Al;cd -
# 注意下面的命令>与&之间不应该有空格，如果有空格则会出错
$ echo "this is test" >&3
$ cat somefile
$ exit

2.5.3、关闭文件描述符

如上面我们打开的3号文件描述符，可以使用如下操作将它关闭：

$ exec 3>&-
$ cd /dev/fd;ls -Al;cd -

2.7 完全屏蔽命令的输出

在 Linux 中有一个被称为“黑洞”的设备文件,所以导入它的数据都将被“吞噬”。

在类 UNIX 系统中，/dev/null，或称空设备，是一个特殊的设备文件，它通常被用于丢弃不需要的输出流，或作为用于输入流的空文件，这些操作通常由重定向完成。读取它则会立即得到一个EOF。

我们可以利用设个/dev/null屏蔽命令的输出：

$ cat Documents/test.c nefile 1>/dev/null 2>&1

上面这样的操作将使你得不到任何输出结果。

 2.8 使用 xargs 分割参数列表

xargs 是一条 UNIX 和类 UNIX 操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令，以避免参数列表过长的问题。

这个命令在有些时候十分有用，特别是当用来处理产生大量输出结果的命令如 find，locate 和 grep 的结果，详细用法请参看 man 文档。

$ cut -d: -f1 < /etc/passwd | sort | xargs echo

上面这个命令用于将/etc/passwd文件按:分割取第一个字段排序后，使用echo命令生成一个列表。

转载于:https://my.oschina.net/pierrecai/blog/1526552