曾经的一个误解
日常工作中,要将数据从一个库迁移到另一个,可以使用“mysqldump xxx | mysql xxx”这个命令,这个命令先从源导出数据,然后经管道通过mysql命令导入目标数据库,正是通过这个命令的一些担心,加深了我对管道的认识。当时的担心是这样的:该命令不停的从源数据库取数据,然后写到目标数据库,那么在写入的时候,会不会创建多个MySQL链接,导致性能问题呢?查看后发现目标MySQL只有一个数据库连接,这是怎么回事呢?
误解的澄清
先放上结论:其实bash在执行管道的时候,是同时创建左右两个进程,而且只会创建一次,并不是左边进程有输出再去创建右边进程处理。我们日常使用管道,多是左边进程很快结束的那种,对于左边进程是持续输出的情况(比如tail -f,tcpdump),以为是左边每输出一次内容就会去新建一个右边的进程来处理,其实管道右边的进程只会创建一次,他会持续的从管道读取数据并进行处理,所以能接在管道右边的程序,都是有一定要求的,它必须要能持续的从标准输入取数据处理。我的误解有点类似于cgi的工作方式,即每请求一次,就会创建一个进程,而管道的实际工作方式,更像是fastcgi的方式,处理进程只创建一次,在进程内部去不停的取数。
管道是怎么实现的?
bash脚本其实都是由/bin/bash这一用户进程执行的,所以管道的实现代码在bash中,它的实现原理如下:
#include <unistd.h>
#include <stdio.h>
#include <string.h>
#include <errno.h>
#include <sys/wait.h>
#include <stdlib.h>
int main(int argc, char** argv) {
int fd[2];
if (pipe(fd) != 0) {
exit(errno);
}
int pid = fork();
if (pid == -1) {
exit(errno);
} else if (pid == 0) {
close(0);
dup(fd[0]);
close(fd[1]);
close(fd[0]);
execlp("wc", "wc", "-c", NULL);
} else {
close(1);
dup(fd[1]);
close(fd[0]);
close(fd[1]);
execlp("cat", "cat" , "/etc/hostname" , NULL);
}
}
上面的命令模拟了“cat /etc/hostname | wc -c”的执行过程,也就是打印出/etc/hostname这个文件中的字符数。程序先fork了一个子进程,来执行管道操作右边的命令wc,然后在父进程中执行左边的命令cat(实现上应该也是启动一个子进程),由此可以看出,左右两边的命令是同时执行的。
在子进程中(pid==0分支),先close(0)来关闭标准输入(注意这里的标准输入其实是父进程的标准输入,也就是当前控制台,因为子进程会继承父进程的文件描述符,而且还共享偏移),随后利用dup(fd[0])来从管道的读端口复制一个文件描述符,而复制文件描述符也会产生一个新的文件描述符,而新描述符产生的规则是:当前没有使用的最小的文件描述符,所以正好是刚才关闭的0,随后使用execlp加载wc执行,这样一番操作,也就将管道的读端设置为了wc命令的标准输入,而wc命令内部是从标准输入读取的,也就会从管道读取了。
而在主进程中类似,先close再dup,将标准输出设置为管道的的写端,然后启动cat,这样cat的输出最终就到达了wc命令中。
为什么标准输入、输出、错误输出要硬编码为0、1、2?
unix的哲学是:一个程序只做一件事,但这些独立的程序,始终是要连接起来完成更复杂的操作的,所以必须得要有一个连接点,而且得要独立于编程语言,也就是不管用C、Java、Python写的程序,都要能支持连接,所以只能选择依赖于操作系统的一个标识,也就是文件描述符。我们开始学习编程的时候就知道:每个程序开始运行就默认有三个文件描述符0、1、2,分别代表标准输入、标准输出、错误输出。正是因为这样0、1、2是硬编码的,所以才能实现跨语言通用。
为什么新描述符要使用最小的未被使用的?
还有一个让人费解的设计是:新分配的描述符总是当前进程的最小的未被使用的描述符,其实这是为了能精确控制新生成的文件描述符的具体数值,看下面的命令:
if (fork() == 0) {
close(0);
open("input.txt", O_RDONLY);
exec("cat", argv);
}
上面的代码将0号描述符关闭,然后马上打开一个文件,那么这个文件的描述符就是0,而0被约定为程序的标准输入,那么接下来创建的cat命令进程,当从标准输入取数据的时候,会从input.txt这个文件中取,这也就是shell中输入重定向的实现原理。
为什么现在编码较少使用文件描述符了?
现代的程序多是跨主机的通信,而不简单的是同一主机内部的通信了,进程间的连接点变成了ip和端口了,也就是通过网络协议,而不再通过父子进程间共享的文件描述符了。