Shell 输出重定向缓冲问题

在训练深度神经网络的过程中，我们使用>符号来将print到屏幕的内容输出到一个log文件中，以方便之后的查阅，例如执行：python train.py > train_process.log后，原本输出在屏幕的内容将写入train_process.log文件中，屏幕再不显示内容。

但是，实时查看log文件发现并不是实时记录信息，而是等一段时间可能一次性将多个step或epoch的信息写入。

这是因为重定向有缓冲的机制。

原因

一个项目中需要迭代计算，时间长，但是在重定向输出的时候所有标准输出不能及时输出，这就要求程序主函数正常运行完后才能正常输出到文件。

因为标准输出到终端时默认行缓冲或无缓冲，重定向到硬盘之后，就变成了全缓冲。

1. Fully buffered means that I/O takes place only when the buffer is fully, the process explicitly calls fflush, or the process terminates by calling exit. A common size for the standard I/O buffer is 8192 bytes;

2. Line buffered means that I/O takes place when a newline is encountered, when the process calls fflush, or when the process terminates by calling exit.

3. Unbuffered means that I/O take place each time a standard I/O output function is called.

解决方法

主要方法有 fflush ， setvbuf ， 和伪终端。
fflush：每次print时都刷新缓存区强制输出，fflush(stdout)。
setvbuf ：更改缓冲类型，手动设置缓冲区大小，使之足够小。

flush函数（Important）

flush函数作用就是将缓冲区数据立即写进磁盘。

各语言版本参考：
Python中的flush
Java中的flush

python函数使用-u指令

python中标准错误（std.err）和标准输出(std.out)的输出规则（标准输出默认需要缓存后再输出到屏幕，而标准错误则直接打印到屏幕）

虽然std.err和std.out默认都是指向屏幕的，但是stderr是无缓存的，程序往stderr输出一个字符，就会在屏幕上显示一个；而stdout是有缓存的，只有遇到换行或者积累到一定的大小，才会显示出来。

-u参数的使用
python命令加上-u（unbuffered，顾名思义，无缓冲模式）参数后会强制其标准输出也同标准错误一样不通过缓存直接打印到屏幕。这样就可以使得>写入log的速度与终端中打印相同。