linux脚本输出缓存上限,linux在shell中如何使用缓冲模式的管道fifo

问题的需求

当我们需要把一个程序的输出重定向到一个管道时，而由另一个程序从管道中读取这些输出时，自然想到的是下面办法：

$ mkfifo mylog.fifo

$ /path/to/myprogram 1>mylog.fifo 2>&1

这个用法是有问题的：

程序myprogram的运行将会hang在第一个输出语句，直到mylog.fifo里面的内如被取走。换句话说，mylog.fifo的工作方式是阻塞的，即写操作不会返回，直到写的内容已经被读取为止。

如果用户能够保证读操作能实时健全的运行，不会阻塞对它的写操作，那么这种模式也是可以工作的。但是这有很大风险，会阻扰主进程的正常功能，听起来不是很完美。

那么能不能让fifo有缓冲功能呢，即写完立刻返回，只要fifo有足够的buffer没有被塞满，而不需要等到被读取，fifo自动缓冲写进来的内容，听起来这个需求很合理。

fifo的非阻塞模式

实际上fifo是有非阻塞模式的：

fifo可以工作在阻塞和非阻塞两种模式。

fifo还可以设置缓冲区(buffer)的大小。

这就很完美了，可是google了一番，这些开关模式只能在API里面通过对文件FD进行设置，例如open(..., mode)，或者fnctl(fd, mode)，而我们的使用场景是在shell里面通过重定向，此时fifo的打开和关闭都是有shell环境指定的，无法使用API来管理这些FD。

(关于program API设置fifo的工作模式，google一下资料很多，这里就不重复了)

shell模式下的非阻塞模式

目前找到一个办法是在shell模式下，以READ-WRITE的方式打开fifo，这样就能让fifo工作在非阻塞模式(我不知道为什么)：

$ exec 3<>/path/to/mylog.fifo

如果不想指定FD,而使用系统分配的FD(在bash 4.2上验证通过):

$ exec {MYFD}<>/path/to/mylog.fifo

$ echo ${MYFD}

这条命令的功能是以读写的方式打开文件/path/to/mylog.fifo，并把fd=3分配这个文件，后面可以用fd=3来对这个文件进行操作。补充一下在linux进程的FD表是可以继承的，即fork出来的子进程自动复制父进程的FD表，也就是在在当前shell下面起来的所有子进程都可以使用fd=3这个文件描述符。

这里比较有趣的一点是，FIFO的打开操作不必要和FIFO的使用在同一个进程里面，也不必是父子进程关系(考虑到子进程自动复制父进程的FD表)；即FIFO的打开操作可以在任何一个SHELL里面，然后FIFO的使用在任意其它SHELL里面。举例来说，Terminal 1以读写方式打开FIFO，然后Terminal 2往FIFO里面写数据，最后Terminal 3从FIFO里面读取数据，这种情况下Terminal 2的写操作也是非阻塞的，但是Terminal 1必须保持，不能退出，否则FD会被关闭；一旦FD关闭，FIFO又重新变回阻塞方式。

查看当前进程fd列表会看到一条

$ lsof -f -p $$

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

...

bash 2347 3u FIFO 249,0 0t0 51477762 /path/to/mylog.fifo

fd的值是3，指向fifo文件/path/to/mylog.fifo

再来测试用户程序的读写操作

$ /path/to/myprogram 1>/path/to/mylog.fifo 2>&1

或者，直接使用fd，而不是文件名

$ /path/to/myprogram 1>&3 2>&1

此时myprogram就不会被阻塞在第一条output语句上，fifo缓存的输出的内容；不过也要注意不能把fifo的缓冲区写满；如果写满了，写操作会继续阻塞，直到fifo缓冲区释放出新的空间。

最后我们关闭fifo对应的fs

$ exec 3

$ lsof -f -p $$