目录
一、进程创建
1.fork函数初识
在linux中fork函数时非常重要的函数,它从已存在进程中创建一个新进程。新进程为子进程,而原进程为父进程。
#include <unistd.h>
pid_t fork(void);
返回值:子进程中返回0,父进程返回子进程id,出错返回-1
进程调用fork,当控制转移到内核中的fork代码后,内核就会分配新的内存块和内核数据结构给子进程, 将父进程部分数据结构内容拷贝至子进程, 添加子进程到系统进程列表当中, fork返回,开始调度器调度。
当一个进程调用fork之后,就有两个二进制代码相同的进程。而且它们都运行相同的代码,且进程互不影响。
fork之前父进程独立执行,fork之后,父子两个执行流分别执行。注意,fork之后,谁先执行完全由调度器 决定。
那么在这里有三个问题需要回答一下:
1.如何理解fork函数有两个返回值的问题?
2.如何理解fork返回之后,给父进程返回子进程ID,给子进程返回0呢?
3.如何理解同一个变量,怎么可能会保存两个不同的值,让if else同时执行?
首先回答第2个问题:父亲和孩子的比例一定是1:n的,也就是说孩子可以有很多个,但是父亲只能有一个,那么父亲要想准确的辨认孩子就需要知道孩子的名字,也就是孩子的ID,所以给父进程返回子进程的ID。那为什么给子进程返回0呢?因为父亲只有一个,即使不知道父亲的名字也能准确的找到父亲,所以给子进程返回0就行了。
第3个问题:首先调用fork函数的时候就会产生一个子进程,父进程和子进程都是独立的,并不会相互影响,因为返回的本质就是写入,那么准备返回的时候,会往变量里写入返回的值,父子进程谁先运行完谁先返回,谁就先写入返回值。谁先写谁就先发生写时拷贝,变量的值都不一样,所以if else 同时执行也就不稀奇了。
第1个问题:要理解为什么有两个返回值就先理解为什么会返回两次,由于fork是操作系统实现的,那么我们知道fork一定是一个函数,我们知道一个函数到达return那步的时候,核心代码基本上就已经运行完毕了,也就意味着在return之前父进程和子进程早就分开了,有可能子进程已经被调度使用了,那么return这个语句就会被父子进程各调用一次,那么有两个返回值也就不奇怪了。
2.写时拷贝
父子代码共享,父子再不写入时,数据也是共享的,当任意一方试图写入,便以写时拷贝的方式各自一份副本。
什么是写时拷贝呢?看上图,修改内容之前,父子进程他们两个同时指向同一个代码和同一个数据,修改内容的时候,操作系统发现共享的这块数据还有父进程在使用,当然不能让子进程直接修改,所以就直接原模原样的拷贝一份放在其他地方给子进程。那么为什么这么做呢?因为进程之间是相互独立的,进程修改数据不能影响其他进程。
fork常规用法:
- 一个父进程希望复制自己,使父子进程同时执行不同的代码段。例如,父进程等待客户端请求,生成子 进程来处理请求。
- 一个进程要执行一个不同的程序。例如子进程从fork返回后,调用exec函数。
fork调用失败的原因:
- 系统中有太多的进程 实际用户的进程数超过了限制
二、进程终止
这里我相信大多数人刚开始学语言的时候会有疑问,为什么main函数一定要return 0?那么这个0到底是什么意思,这个0其实就是进程退出码,这个退出码用来标定进程执行的结果是否正确。那么0就表示正常(正确),非0表示失败,这个非0的数字每个代表的错误含义都不同。
1.进程退出场景
- 代码运行完毕,结果正确
- 代码运行完毕,结果不正确
- 代码异常终止
2.进程常见退出方法
- 正常终止:1. 从main返回 2. 调用exit 3. _exit
(可以通过 echo $? 查看进程退出码)这个 $? 永远记录最近一个进程在命令行中执行完毕时对应的退出码
- 异常退出: ctrl + c,信号终止
_exit函数
#include <unistd.h>
void _exit(int status);
参数:status 定义了进程的终止状态,父进程通过wait来获取该值
说明:虽然status是int,但是仅有低8位可以被父进程所用。所以_exit(-1)时,在终端执行$?发现返回值是255
exit函数
#include <unistd.h>
void exit(int status);
exit最后也会调用exit, 但在调用exit之前,还做了其他工作:
1. 执行用户通过 atexit或on_exit定义的清理函数。
2. 关闭所有打开的流,所有的缓存数据均被写入
3. 调用_exit
- return是一种更常见的退出进程方法。执行return n等同于执行exit(n),因为调用main的运行时函数会将main的返回值当做 exit的参数。
- exit 终止进程,主动刷新缓冲区(库函数)exit最终也会调用_exit
- _exit 终止进程,不会刷新缓冲区(系统调用)
那么大家知道缓冲区在哪里吗?
通过上面的exit和_exit知道缓冲区一定是在系统调用之上的,是一个用户级的缓冲区。
三、进程等待
1.进程等待必要性
子进程退出,父进程如果不管不顾,就可能造成‘僵尸进程’的问题,进而造成内存泄漏。 另外,进程一旦变成僵尸状态,那就刀枪不入,“杀人不眨眼”的kill -9 也无能为力,因为谁也没有办法杀死一个已经死去的进程。 最后,父进程派给子进程的任务完成的如何,我们需要知道。如,子进程运行完成,结果对还是不对, 或者是否正常退出。 父进程通过进程等待的方式,回收子进程资源,获取子进程退出信息。
2.进程等待的方法
2.1 wait方法
#include <sys/types.h>
#include <sys/wait.h>
pid_t wait(int*status);
返回值: 成功返回被等待进程pid,失败返回-1。
参数: 输出型参数,获取子进程退出状态,不关心则可以设置成为NULL
2.2 waitpid方法
pid_ t waitpid(pid_t pid, int *status, int options);
返回值: 当正常返回的时候waitpid返回收集到的子进程的进程ID;
如果设置了选项WNOHANG,而调用中waitpid发现没有已退出的子进程可收集,则返回0;
如果调用中出错,则返回-1,这时errno会被设置成相应的值以指示错误所在;
参数: pid:
Pid=-1,等待任一个子进程。与wait等效。
Pid>0.等待其进程ID与pid相等的子进程。
status:
WIFEXITED(status): 若为正常终止子进程返回的状态,则为真。(查看进程是否是正常退出) WEXITSTATUS(status): 若WIFEXITED非零,提取子进程退出码。(查看进程的退出码)
options: WNOHANG: 若pid指定的子进程没有结束,则waitpid()函数返回0,不予以等待。若正常结束,则返回该子进 程的ID。
如果子进程已经退出,调用wait/waitpid时,wait/waitpid会立即返回,并且释放资源,获得子进程退出信息。 如果在任意时刻调用wait/waitpid,子进程存在且正常运行,则父进程可能阻塞等待。 如果不存在该子进程,则立即出错返回。
2.3获取子进程status
wait和waitpid,都有一个status参数,该参数是一个输出型参数,由操作系统填充。 如果传递NULL,表示不关心子进程的退出状态信息。 否则,操作系统会根据该参数,将子进程的退出信息反馈给父进程。 status不能简单的当作整形来看待,可以当作位图来看待,具体细节如下图
进程的等待方式分为两种:阻塞式等待和非阻塞式等待。
阻塞式:父进程一直在那盯着子进程的运行状态,直到子进程退出
int main()
{
pid_t pid;
pid = fork();
if(pid < 0)
{
printf("%s fork error\n",__FUNCTION__);
return 1;
}
else if( pid == 0 )
{ //child
printf("child is run, pid is : %d\n",getpid());
sleep(5);
exit(257);
}
else
{
int status = 0;
pid_t ret = waitpid(-1, &status, 0);//阻塞式等待,等待5S
printf("this is test for wait\n");
if( WIFEXITED(status) && ret == pid )
{
printf("wait child 5s success, child return code is:%d.\n",WEXITSTATUS(status));
}
else
{
printf("wait child failed, return.\n");
return 1;
}
}
return 0;
}
非阻塞式:父进程对子进程的运行状态进行检测,如果子进程还在运行那么 waitpid 直接返回,每隔一段时间对子进程进行一次状态检测,这种多次非阻塞等待就叫轮训,轮训的好处就是不会占用父进程的精力,可以在轮训期间干别的。
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
#include <sys/wait.h>
int main()
{
pid_t pid;
pid = fork();
if(pid < 0)
{
printf("%s fork error\n",__FUNCTION__);
return 1;
}
else if( pid == 0 )
{ //child
printf("child is run, pid is : %d\n",getpid());
sleep(5);
exit(1);
}
else
{
int status = 0;
pid_t ret = 0;
do
{
ret = waitpid(-1, &status, WNOHANG);//非阻塞式等待
if( ret == 0 )
{
printf("child is running\n");
}
sleep(1);
}while(ret == 0);
if( WIFEXITED(status) && ret == pid )
{
printf("wait child 5s success, child return code is:%d.\n",WEXITSTATUS(status));
}
else
{
printf("wait child failed, return.\n");
return 1;
}
}
return 0;
}
四、进程程序替换
1. 替换原理
用fork创建子进程后执行的是和父进程相同的程序(但有可能执行不同的代码分支),子进程往往要调用一种exec函数以执行另一个程序。当进程调用一种exec函数时,该进程的用户空间代码和数据完全被新程序替换,从新程序的启动例程开始执行。调用exec并不创建新进程,所以调用exec前后该进程的id并未改变。
2. 替换函数
其实有六种以exec开头的函数,统称exec函数:
#include <unistd.h>
int execl(const char *path, const char *arg, ...);
int execlp(const char *file, const char *arg, ...);
int execle(const char *path, const char *arg, ...,char *const envp[]);
int execv(const char *path, char *const argv[]);
int execvp(const char *file, char *const argv[]);
int execve(const char *path, char *const argv[], char *const envp[]);
2.1 函数解释
这些函数如果调用成功则加载新的程序从启动代码开始执行,不再返回。 如果调用出错则返回-1, 所以exec函数只有出错的返回值而没有成功的返回值。
2.2 命名理解
这些函数原型看起来很容易混,但只要掌握了规律就很好记。
l(list) : 表示参数采用列表
v(vector) : 参数用数组
p(path) : 有p自动搜索环境变量PATH
e(env) : 表示自己维护环境变量
exec的函数调用举例如下:
#include <unistd.h>
int main()
{
char *const argv[] = {"ps", "-ef", NULL};
char *const envp[] = {"PATH=/bin:/usr/bin", "TERM=console", NULL};
execl("/bin/ps", "ps", "-ef", NULL);
// 带p的,可以使用环境变量PATH,无需写全路径
execlp("ps", "ps", "-ef", NULL);
// 带e的,需要自己组装环境变量
execle("ps", "ps", "-ef", NULL, envp);
execv("/bin/ps", argv);
// 带p的,可以使用环境变量PATH,无需写全路径
execvp("ps", argv);
// 带e的,需要自己组装环境变量
execve("/bin/ps", argv, envp);
exit(0);
}
事实上,只有execve是真正的系统调用,其它五个函数最终都调用 execve ,这些函数之间的关系如下图所示:
五、制作一个简易的shell
用下图的时间轴来表示事件的发生次序,其中时间从左向右,shell由标识为bash的方块代表,它随着时间的流逝从左向右移动。shell从用户读入字符串"ls",shell建立一个新的进程,然后在那个进程中运行ls程序并等待那个进程结束,然后shell读取新的一行输入,建立一个新的进程,在这个进程中运行程序并等待这个进程结束。
通过学习上面的知识后,自己来实现一个简易的shell命令行解释器,写一个shell,需要循环以下过程:
1. 获取命令行
2. 解析命令行
3. 建立一个子进程(fork)
4. 替换子进程(execvp)
5. 父进程等待子进程退出(wait)
1.初步的shell
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <sys/wait.h>
#include <assert.h>
#include <string.h>
#define NUM 1024 //字符串最大长度
#define OPT_NUM 64 //最多存在64个选项
char linecommand[NUM];
char* myargv[OPT_NUM];
int main()
{
while(1)
{
//输入提示符
printf("用户名@主机名 当前路径# ");
fflush(stdout);
//获取用户输入
char* input = fgets(linecommand,sizeof(linecommand)-1,stdin);
assert(input != NULL);
(void)input;
//清除最后一个\n
linecommand[strlen(linecommand)-1] = 0;
//printf("test : %s\n",linecommand);
//切割字符串,即把命令和参数从一个字符串中切割出来依次放进myargv中
myargv[0] = strtok(linecommand," ");
int i = 1;
while(myargv[i++] = strtok(NULL," "));
//创建子进程
pid_t id = fork();
if(id < 0)
{
perror("fork");
return -1;
}
if(id == 0)//子进程
{
execvp(myargv[0],myargv);
exit(-1);
}
else //父进程
{
waitpid(id, NULL, 0);
}
}
return 0;
}
可以看到一些基础的命令都可以用了,但是呢这里的ls没有带颜色,再把颜色的功能给加上。
myargv[0] = strtok(linecommand," ");
int i = 1;
//首先myargv[0]不能为空,然后如果指令是ls,就给下标为i的数组加上颜色指令
if(myargv[0] != NULL && strcmp(myargv[0],"ls") == 0)
{
myargv[i++] =(char*) "--color=auto";
}
2. cd命令切换路径
cd命令改变的是父进程的当前路径,所以就不需要创建子进程了。这里用一个chdir系统接口改变进程当前的路径。像这种不需要子进程来执行,而是让shell自己执行的命令,我们叫它内建(内置)命令。
chdir是一个系统调用接口,可以改变进程的工作目录,
//是cd命令就让shell切换到输入的路径,不创建子进程
if(myargv[0] != NULL && strcmp(myargv[0],"cd") == 0)
{
if(myargv[1] != NULL)
chdir(myargv[1]);
continue;
}
3. echo 命令
echo也是个内建命令,shell 可以通过进程等待的方式获取上一个子进程的退出状态,然后将其保存在 ? 变量中,当命令行输入 “echo $?” 时,直接输出 ? 变量中的内容,然后将 ? 置为0 (echo 正常退出的退出码),也不需要创建子进程。
//全局变量
int lastcode = 0;//退出码
int lastsig = 0;//退出信号
//echo命令
if(myargv[0] != NULL && myargv[1] != NULL && strcmp(myargv[0],"echo") == 0)
{
if(strcmp(myargv[1],"$?") == 0)//获取信号
{
printf("%d,%d\n",lastcode,lastsig);
}
else
{
printf("%s\n",myargv[1]);
}
continue;
}
//fork之后父进程的内容
int status= 0;
pid_t ret = waitpid(id, &status, 0);
assert(ret > 0);
(void)ret;
lastcode = ((status>>8)& 0xFF);
lastsig = (status & 0x7F);
完整代码如下:
1 #include <stdio.h>
2 #include <stdlib.h>
3 #include <unistd.h>
4 #include <sys/types.h>
5 #include <sys/stat.h>
6 #include <sys/wait.h>
7 #include <assert.h>
8 #include <string.h>
9
10 #define NUM 1024 //字符串最大长度
11 #define OPT_NUM 64 //最多存在64个选项
12
13 char linecommand[NUM];
14 char* myargv[OPT_NUM];
15 int lastcode = 0;//退出码
16 int lastsig = 0;//退出信号
17
18 int main()
19 {
20 while(1)
21 {
22 //输入提示符
23 printf("用户名@主机名 当前路径# ");
24 fflush(stdout);
25
26 //获取用户输入
27 char* input = fgets(linecommand,sizeof(linecommand)-1,stdin);
28 assert(input != NULL);
29 (void)input;
30 //清除最后一个\n
31 linecommand[strlen(linecommand)-1] = 0;
32 //printf("test : %s\n",linecommand);
33
34 //切割字符串,即把命令和参数从一个字符串中切割出来依次放进myargv中
35 myargv[0] = strtok(linecommand," ");
36 int i = 1;
37 if(myargv[0] != NULL && strcmp(myargv[0],"ls") == 0)//给ls指令添加颜色
38 {
39 myargv[i++] =(char*) "--color=auto";
40 }
41
42 while(myargv[i++] = strtok(NULL," "));
43
44 //是cd命令就让shell切换到输入的路径,不创建子进程
45 if(myargv[0] != NULL && strcmp(myargv[0],"cd") == 0)
46 {
47 if(myargv[1] != NULL)
48 chdir(myargv[1]);
49 continue;
50 }
51 if(myargv[0] != NULL && myargv[1] != NULL && strcmp(myargv[0],"echo") == 0)
52 {
53 if(strcmp(myargv[1],"$?") == 0)
54 {
55 printf("%d,%d\n",lastcode,lastsig);
56 }
57 else
58 {
59 printf("%s\n",myargv[1]);
60 }
61 continue;
62 }
63
64 //创建子进程
65 pid_t id = fork();
66 if(id < 0)
67 {
68 perror("fork");
69 return -1;
70 }
71 if(id == 0)//子进程
72 {
73 execvp(myargv[0],myargv);
74 exit(-1);
75 }
76 else
77 {
78 int status= 0;
79 pid_t ret = waitpid(id, &status, 0);
80 assert(ret > 0);
81 (void)ret;
82 lastcode = ((status>>8)& 0xFF);
83 lastsig = (status & 0x7F);
84 }
85 }
86 return 0;
87 }
我们来思考函数和进程之间的相似性
exec/exit就像call/return
一个C程序有很多函数组成。一个函数可以调用另外一个函数,同时传递给它一些参数。被调用的函数执行一定的操作,然后返回一个值。每个函数都有他的局部变量,不同的函数通过call/return系统进行通信。这种通过参数和返回值在拥有私有数据的函数间通信的模式是结构化程序设计的基础。Linux鼓励将这种应用于程序之内的模式扩展到程序之间。如下图
一个C程序可以fork/exec另一个程序,并传给它一些参数。这个被调用的程序执行一定的操作,然后通过exit(n)来返回值。调用它的进程可以通过wait(&ret)来获取exit的返回值。