Linux标准IO重定向和管道

1 标准输入和输出

程序：指令+数据
读入数据：Input
输出数据：Output

打开的文件都有一个fd: file descriptor (文件描述符) 如0，1，2

Linux给程序提供三种 I/O 设备

• 标准输入（STDIN） －0 默认接受来自终端窗口的输入
• 标准输出（STDOUT)－1 默认输出到终端窗口
• 标准错误（STDERR)－2 默认输出到终端窗口 ，不一定真的是个错误，也可能是警报或提示信息

范例：每个窗口有各自的输入输出

[root@centos7-E ~]#ll /proc/$$/fd
total 0
lrwx------. 1 root root 64 Mar 25 08:53 0 -> /dev/pts/0
lrwx------. 1 root root 64 Mar 25 08:53 1 -> /dev/pts/0
lrwx------. 1 root root 64 Mar 25 08:53 2 -> /dev/pts/0
lrwx------. 1 root root 64 Mar 25 09:28 255 -> /dev/pts/0
[root@centos7-E ~]#tty
/dev/pts/0

2 I/O重定向redirect

I/O重定向：将默认的输入，输出或错误对应的设备改变，指向新的目标

2.1标准输出和错误重新定向

STDOUT和STDERR可以被重定向到指定文件,而非默认的当前终端

格式： 命令 操作符号 文件名

支持的操作符号包括：

1> 或 > 把STDOUT重定向到文件  
2> 把STDERR重定向到文件    
&> 把所有输出重定向到文件

以上如果文件已存在，文件内容会被覆盖

set -C 禁止将内容覆盖已有文件,但可追加，利用>| 仍可强制覆盖 
set +C 允许覆盖

追加

>>可以在原有内容基础上，追加内容
把输出和错误重新定向追加到文件

>> 追加标准输出重定向至文件
2>> 追加标准错误重定向至文件

标准输出和错误输出各自定向至不同位置

COMMAND > /path/to/file.out 2> /path/to/error.out

合并标准输出和错误输出为同一个数据流进行重定向
&> 覆盖重定向
&>> 追加重定向

COMMAND > /path/to/file.out 2>&1 （顺序很重要）
COMMAND >> /path/to/file.out 2>&1

合并多个程序

(CMD1;CMD2......) 或者{ CMD1;CMD2;....; }合并多个程序的STDOUT

范例：合并多个命令的结果至一个文件中

[root@centos8 ~]#( cal 2019 ; cal 2020 ) > all.txt
[root@centos8 ~]#{ ls;hostname;} > /data/all.log 

范例：标准输出重定向

[root@centos7-E ~]#uname -r > /date/stout.log
[root@centos7-E ~]#ls /date
stout.log
[root@centos7-E ~]#cat /date/stout.log
3.10.0-1062.el7.x86_64

范例：清除大文件

[root@centos7-E ~]#cat /dev/null > /date/all.log

[root@centos7-E ~]#> /date/f1.log   #创建空文件，也可以把已存在的文件清空
[root@centos7-E ~]#ll /date/f1.log
-rw-r--r--. 1 root root 0 Mar 25 09:46 /date/f1.log
[root@centos7-E ~]#echo > /date/f1.log
[root@centos7-E ~]#cat /date/f1.log  
									#echo默认是空格，echo -n不换行
[root@centos7-E ~]#hexdump -C /date/f1.log
00000000  0a                               |.|
00000001

范例：标准错误重定向

[root@centos7-E ~]#rm /date/f1.log
rm: remove regular file ‘/date/f1.log’? n
[root@centos7-E ~]#rm /date/f1.log > /date/all.log
rm: remove regular file ‘/date/f1.log’? ^C
[root@centos7-E ~]#rm /date/f1.log 2> /date/all.log

[root@centos7-E ~]#cat /date/all.log
rm: remove regular file ‘/date/f1.log’? 

面试题：将标准输出和错误都重定向到同一个文件

[root@centos8 ~]#ls /data /xxx > /data/all.log 2>&1
[root@centos8 ~]#ls /data /xxx 2> /data/all.log 1>&2
[root@centos8 ~]#ls /data /xxx &> /data/all.log
[root@centos8 ~]#ls /data /xxx 2>&1 > /data/all.log
ls: cannot access '/xxx': No such file or directory

2.2 标准输入重定向

从文件中导入STDIN，代替当前终端的输入设备，使用 < 来重定向标准输入
某些命令能够接受从文件中导入的STDIN

2.2.1 tr 命令

tr 转换和删除字符

选项：

-c –C --complement：  取字符集的补集  
-d --delete：         删除所有属于第一字符集的字符  
-s --squeeze-repeats：把连续重复的字符以单独一个字符表示,即去重  
-t --truncate-set1：  将第一个字符集对应字符转化为第二字符集对应的字符  

\NNN           character with octal value NNN (1 to 3 octal digits)  
\\             backslash  
\a             audible BEL  
\b             backspace  
\f             form feed  
\n             new line  
\r             return  
\t             horizontal tab  
\v             vertical tab

范例：

#把/etc/issue中的小写字符都转换成大写字符
[root@centos7-E cui]#tr a-z A-Z < /etc/issue
\S
KERNEL \R ON AN \M
[root@centos7-E cui]#tr 'a-z' 'A-Z' < /etc/issue
\S
KERNEL \R ON AN \M
#删除fstab文件中的所有abc中任意字符
[root@centos7-E cui]#tr -d abc < /etc/fstab

范例：空格替代成冒号

[root@centos7-E cui]#df
Filesystem     1K-blocks     Used Available Use% Mounted on
devtmpfs          915788        0    915788   0% /dev
[root@centos7-E cui]#df > df.log
[root@centos7-E cui]#tr -s ' ' < df.log
Filesystem 1K-blocks Used Available Use% Mounted on
devtmpfs 915788 0 915788 0% /dev
[root@centos7-E cui]#tr -s ' ' : < df.log
Filesystem:1K-blocks:Used:Available:Use%:Mounted:on
devtmpfs:915788:0:915788:0%:/dev

范例：将 Windows 的文本转化 Linux的文本格式

[root@centos7-E ~]#cat windows.txt 
a
b
c[root@centos7-E ~]#file windows.txt
windows.txt: ASCII text, with CRLF line terminators
[root@centos7-E ~]#hexdump -C windows.txt
00000000  61 0d 0a 62 0d 0a 63                  |a..b..c|
00000007
[root@centos7-E ~]#nano linux.txt
[root@centos7-E ~]#hexdump -C linux.txt 
00000000  61 0a 62 0a 63 0a                     |a.b.c.|
0000000
[root@centos7-E ~]#tr -d '\r' < windows.txt > windows2.txt 
[root@centos7-E ~]#hexdump -C windows2.txt
00000000  61 0a 62 0a 63                        |a.b.c|
00000005
[root@centos7-E ~]#file windows2.txt
windows2.txt: ASCII text

```bash
 [:alnum:]：字母和数字  
 [:alpha:]：字母  
 [:digit:]：数字  
 [:lower:]：小写字母  
 [:upper:]：大写字母  
 [:space:]：空白字符  
 [:print:]：可打印字符  
 [:punct:]：标点符号  
 [:graph:]：图形字符  
 [:cntrl:]：控制（非打印）字符  
 [:xdigit:]：十六进制字符  

2.2.2 标准输入重定向

利用“<” 可以将标准输入重定向

比如：

cat > file  
mage  
wangxiaochun  
按ctrl+d离开，可以使用文件来代替键盘的输入   

cat < file1 > file2
cat < file1 >> file1

2.2.3 把多行重定向

使用 “<<终止词” 命令从键盘把多行重导向给STDIN，直到终止词位置之前的所有文本都发送给STDIN，有时被称为就地文本（here documents）
其中终止词可以是任何一个或多个符号，比如：!，@，$，EOF（End Of File）等，其中EOF比较常用

3 管道

3.1 管道

管道（使用符号“|”表示）用来连接多个命令

功能说明：

• 将命令1的STDOUT发送给命令2的STDIN，命令2的STDOUT发送到命令3的STDIN
• 所有命令会在当前shell进程的子shell进程中执行
• 组合多种工具的功能

注意：管道符前面的命令必须有标准输出，后面的命令必须能标准输入

注意：STDERR默认不能通过管道转发，可利用2>&1 或 |& 实现，格式如下

命令1 2>&1 | 命令2  
命令1 |& 命令2

3.2 管道中的 - 符号

管道中有时会使用 - 符号

示例:

将 /home 里面的文件打包，但打包的数据不是记录到文件，而是传送到 stdout，经过管道后，将 tar -cvf - /home 传送给后面的 tar -xvf - , 后面的这个 - 则是取前一个命令的 stdout， 因此，就不需要使用临时file了

tar -cvf - /home | tar -xvf -

3.3 tee 命令

利用tee命令可以重定向到多个目标

格式：

命令1 | tee [-a ] 文件名 | 命令2

以上可以把命令1的STDOUT保存在文件中，做为命令2的输入

选项：

-a 追加  

功能：

• 保存不同阶段的输出
• 复杂管道的故障排除
• 同时查看和记录输出