Windows 控制台程序的 binary pipe 输出输入

问题浮现

用 Visual C++ 实现了一个 Windows 控制台程序，要通过标准输出 stdout 输出二进制 binary 数据，通过管道传给另一个程序（比如视频数据给 ffmpeg）。

用代码实现起来并不难：

int result = _setmode(_fileno(stdout), _O_BINARY);
if (result == -1)
    perror("Cannot set mode");


fwrite(buffer, size, 1, stdout);

可以参考 MSDN，这是官方的方案

_setmode | Microsoft Docs

然而实际运行时，输出的数据不正确，ffmpeg 不能解析视频数据。

将输出重定向到文件，打开文件查看 hex 数据：

可以看到前面有 BOM 头，文件还是使用 text 模式写入的。

从命令行启动的问题

排查了很多可能的原因，都不是问题所在，不管怎么调整，一直没有效果。 

最后换了一个 shell，从 Power shell 换成 msys bash。在 msys bash 里面执行命令行，就是正常的。

再试一试用 cmd 执行命令行，也是正常的。

看来就是 Power shell 搞得鬼。后来看到网上也有一些相关的问题：

Redirection/Pipe binary corruption with Windows PowerShell

In Powershell, how do you redirect a binary file to standard in? - Stack Overflow

从代码中启动的问题

命令行运行正常了，但是从代码中通过 CreateProcess 启动，还有新的问题，ffmpeg 好像只拿到了一部分数据，图像只出现了第一帧，后面图像就不变化了。

代码是这样的：

boost::process::pipe  intermediate;
boost::process::child process_source(file_source, url, 
    boost::process::std_out > intermediate, boost::process::create_no_window());
boost::process::child process_ffmpeg(file_ffmpeg, configss, 
    boost::process::std_in < intermediate, boost::process::create_no_window());
process_source.detach();
process_ffmpeg.detach();

 从任务管理器里面，可以看到，多创建了两个 “控制台窗口主机” 进程。

 该进程的二进制文件是 “conhost.exe”，网上搜索相关资料，找到：

why is conhost.exe is running after executed a consoleApplication

What Is conhost.exe and Why Is It Running?

其中一个说法，是使用 DETACH_PROCESS 创建进程

DETACHED_PROCESS 0x00000008

For console processes, the new process does not inherit its parent's console (the default). The new process can call the AllocConsole function at a later time to create a console. For more information, see Creation of a Console. This value cannot be used with CREATE_NEW_CONSOLE.

试了一下，果然有用。 

特此记录，希望能够帮助到同样被此困扰的你。