1. 冯诺依曼体系结构
我们常见的计算机,如笔记本。我们不常见的计算机,如服务器,大部分都遵守冯诺依曼体系。
截至目前,我们所认识的计算机,都是有一个个的硬件组件组成
- 输入单元:包括键盘, 鼠标,扫描仪, 写板等
- 中央处理器(CPU):含有运算器和控制器等
- 输出单元:显示器,打印机等
关于冯诺依曼结构的关键几点:
- 这里的存储器指的是内存
- 不考虑缓存情况,这里的CPU能且只能对内存进行读写,不能访问外设(输入或输出设备)
- 外设(输入或输出设备)要输入或者输出数据,也只能写入内存或者从内存中读取。
- 一句话总结就是所有设备都只能直接和内存打交道。
对冯诺依曼的理解,不能停留在概念上,要深入到对软件数据流理解上。从登录上qq开始和某位朋友聊天开始,数据的流动过程。从你打开窗口,开始给他发消息,到他的到消息之后的数据流动过程图如下:
2. 操作系统(Operator System)
2.1 概念
任何计算机系统都包含一个基本的程序集合,称为操作系统(OS)。笼统的理解,操作系统包括:
- 内核(进程管理,内存管理,文件管理,驱动管理)
- 其他程序(例如函数库,shell程序等等)
2.2 设计OS的目的
- 与硬件交互,管理所有的软硬件资源
- 为用户程序(应用程序)提供一个良好的执行环境
2.3 定位
- 在整个计算机软硬件架构中,操作系统的定位是:一款纯正的“搞管理”的软件
2.4 什么是 “管理”,如何理解它
如下所示:
管理分层图:
2.5 系统调用和库函数概念
- 在开发角度,操作系统对外会表现为一个整体,但是会暴露自己的部分接口,供上层开发使用,这部分由操作系统提供的接口,叫做系统调用。
- 系统调用在使用上,功能比较基础,对用户的要求相对也比较高,所以,有心的开发者可以对部分系统调用进行适度封装,从而形成库,有了库,就很有利于更上层用户或者开发者进行二次开发。
2.6 总结
- 描述起来,用struct结构体将属性描述一下
- 组织起来,用链表或其他高效的数据结构
3. 进程
操作系统是怎么管理进行进程管理的呢?很简单,也是先把进程描述起来,再把进程组织起来。
3.1 基本概念
- 概念:程序的一个执行实例,正在执行的程序等
- 内核观点:担当分配系统资源(CPU时间,内存)的实体。
3.2 描述进程-PCB
- 进程信息被放在一个叫做进程控制块的数据结构中,可以理解为进程属性的集合。
- 书上称之为PCB(process control block),Linux操作系统下的PCB是: task_struct
task_struct是PCB的一种
- 在Linux中描述进程的结构体叫做task_struct。
- task_struct是Linux内核的一种数据结构,它会被装载到RAM(内存)里并且包含着进程的信息。
task_ struct内容分类:
- 标示符: 描述本进程的唯一标示符,用来区别其他进程。
- 状态: 任务状态,退出代码,退出信号等。
- 优先级: 相对于其他进程的优先级。
- 程序计数器: 程序中即将被执行的下一条指令的地址。
- 内存指针: 包括程序代码和进程相关数据的指针,还有和其他进程共享的内存块的指针
- 上下文数据: 进程执行时处理器的寄存器中的数据[休学例子,要加图CPU,寄存器]。
- I/O状态信息: 包括显示的I/O请求,分配给进程的I/O设备和被进程使用的文件列表。
- 记账信息: 可能包括处理器时间总和,使用的时钟数总和,时间限制,记账号等。
- 其他信息
3.3 组织进程
可以在内核源代码里找到它。所有运行在系统里的进程都以task_struct链表的形式存在内核里。
3.4 查看进程
进程的信息可以通过 ls /proc 系统文件夹查看
- 如果要获取PID为1的进程信息,你需要查看 /proc/1 这个文件夹。
- 大多数进程信息同样可以使用top和ps这些用户级工具来获取
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
int main()
{
while(1)
{
sleep(1);
}
return 0;
}
3.5 通过系统调用获取进程标示符
- 进程id(PID)
- 父进程id(PPID)
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
int main()
{
printf("pid: %d\n", getpid()); //获取自己的pid
printf("ppid: %d\n", getppid()); //获取父进程的pid即子进程的ppid
return 0;
}
3.6 通过系统调用创建进程 - fork函数
-
运行 man fork 认识fork
-
fork有两个返回值,为什么给子进程返回0,父进程返回子进程的pid?
-
在创建子进程时fork函数干了些什么?
-
一个函数是如何做到返回两次的?
-
父子进程代码共享,数据各自开辟空间,私有一份(采用写时拷贝)
-
一个变量怎么会有不同的内容呢??(见7.6解析)
-
fork 之后通常要用 if 进行分流
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
int main()
{
int ret = fork();
if(ret < 0)
{
perror("fork");
return 1;
}
else if(ret == 0) //child
{
printf("I am child : %d!, ret: %d\n", getpid(), ret);
}
else //father
{
printf("I am father : %d!, ret: %d\n", getpid(), ret);
}
sleep(1);
return 0;
}
4. 进程状态
一般的操作系统进程状态:运行、阻塞、挂起
4.1 Linux内核源代码介绍进程状态
- 为了弄明白正在运行的进程是什么意思,我们需要知道进程的不同状态。一个进程可以有几个状态(在Linux内核里,进程有时候也叫做任务)下面的状态在kernel源代码里定义:
/*
* The task state array is a strange "bitmap" of
* reasons to sleep. Thus "running" is zero, and
* you can test for combinations of others with
* simple bit tests.
*/
static const char * const task_state_array[] = {
"R (running)", /* 0 */
"S (sleeping)", /* 1 */
"D (disk sleep)", /* 2 */
"T (stopped)", /* 4 */
"t (tracing stop)", /* 8 */
"X (dead)", /* 16 */
"Z (zombie)", /* 32 */
};
-
R运行状态(running):并不意味着进程一定在运行中,它表明进程要么是在运行中要么在运行队列里。
-
S睡眠状态(sleeping): 意味着进程在等待事件完成(这里的睡眠有时候也叫做可中断睡眠(interruptible sleep)。
-
D磁盘休眠状态(Disk sleep)有时候也叫不可中断睡眠状态,在这个状态的进程通常会等待IO的结束。
-
T停止状态(stopped): 可以通过发送 SIGSTOP 信号给进程来停止(T)进程。这个被暂停的进程可以通过发送 SIGCONT 信号让进程继续运行。
处于 t 状态典型的例子调试,即gdb模式下 -
X死亡状态(dead):这个状态只是一个返回状态,不会在任务列表里看到这个状态。
4.2 进程状态查看
ps aux / ps axj 命令
4.3 Z(zombie) - 僵尸进程
- 僵死状态(Zombies)是一个比较特殊的状态。当进程退出并且父进程(使用wait()系统调用)没有读取到子进程退出的返回代码时就会产生僵死(尸)进程
- 僵死进程会以终止状态保持在进程表中,并且会一直在等待父进程读取退出状态代码。
- 所以,只要子进程退出,父进程还在运行,但父进程没有读取子进程状态,子进程进入Z状态
创建一个维持30秒的僵死进程例子:
#include <stdio.h>
#include <stdlib.h>
int main()
{
pid_t id = fork();
if (id < 0)
{
perror("fork");
return 1;
}
else if (id > 0)
{ //parent
printf("parent[%d] is sleeping...\n", getpid());
sleep(30);
}
else
{
printf("child[%d] is begin Z...\n", getpid());
sleep(5);
exit(EXIT_SUCCESS);
}
return 0;
}
编译并在另一个终端下启动监控:
开始测试:
结果:
4.3.1 僵尸进程危害
- 进程的退出状态必须被维持下去,因为他要告诉关心它的进程(父进程),你交给我的任务,我办的怎么样了。可父进程如果一直不读取,那子进程就会一直处于Z状态
- 维护退出状态本身就是要用数据维护,也属于进程基本信息,所以保存在task_struct(PCB)中,换句话说,Z状态一直不退出,PCB就一直要维护
- 那一个父进程创建了很多子进程,就是不回收,就会造成内存资源的浪费。因为数据结构对象本身就要占用内存,想想C中定义一个结构体变量(对象),是要在内存的某个位置进行开辟空间!
- 所以僵尸进程会产生内存泄漏
- 如何避免?后面分析
4.4 孤儿进程
- 父进程如果提前退出,那么子进程后退出,进入Z之后,那该如何处理呢?
- 父进程先退出,子进程就称之为“孤儿进程”
- 孤儿进程被1号init进程领养,当然要有init进程回收喽。
#include <stdio.h>
#include <unistd.h>
#include <stdlib.h>
int main()
{
pid_t id = fork();
if (id < 0)
{
perror("fork");
return 1;
}
else if (id == 0) //child
{
printf("I am child, pid : %d\n", getpid());
sleep(10);
}
else //parent
{
printf("I am parent, pid: %d\n", getpid());
sleep(3);
exit(0);
}
return 0;
}
显示结果:
PID为1的进程:
5. 进程优先级
5.1 基本概念
- cpu资源分配的先后顺序,就是指进程的优先权(priority)。
- 优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用,可能改善系统性能。
- 还可以把进程运行到指定的CPU上,这样一来,把不重要的进程安排到某个CPU,可以大大改善系统整体性能。
进程之间连接基本原理:
5.2 查看系统进程
在linux系统中,用ps - al / ps - l命令则会类似输出以下几个内容:
我们注意到其中的几个重要信息,如下:
- UID : 代表执行者的身份
- PID : 代表这个进程的代号
- PPID :代表这个进程是由哪个进程发展衍生而来的,亦即父进程的代号
- PRI :代表这个进程可被执行的优先级,其值越小越早被执行
- NI :代表这个进程的nice值
PRI 和 NI:
- PRI也还是比较好理解的,即进程的优先级,或者通俗点说就是程序被CPU执行的先后顺序,此值越小进程的优先级别越高
- 那NI呢?就是我们所要说的nice值了,其表示进程可被执行的优先级的修正数值
- PRI值越小越快被执行,那么加入nice值后,将会使得PRI变为:PRI(new)=PRI(old)+nice
- 这样,当nice值为负值的时候,那么该程序将会优先级值将变小,即其优先级会变高,则其越快被执行
- 所以,调整进程优先级,在Linux下,就是调整进程nice值
- nice其取值范围是-20至19,一共40个级别。
PRI 和 NI 的比较:
- 需要强调一点的是,进程的nice值不是进程的优先级,他们不是一个概念,但是进程nice值会影响到进程的优先级变化。
- 可以理解nice值是进程优先级的修正修正数据
5.3 查看进程优先级的命令
用top命令更改已存在进程的nice:
- top
- 进入top后按“r”->输入进程PID->输入nice值
操作系统如何根据优先级,开展调度的,基本原理如下:
其他概念:
- 竞争性: 系统进程数目众多,而CPU资源只有少量,甚至1个,所以进程之间是具有竞争属性的。为了高效完成任务,更合理竞争相关资源,便具有了优先级
- 独立性: 多进程运行,需要独享各种资源,多进程运行期间互不干扰
- 并行: 多个进程在多个CPU下分别,同时进行运行,这称之为并行
- 并发: 多个进程在一个CPU下采用进程切换的方式,在一段时间之内,让多个进程都得以推进,称之为并发
6. 环境变量
6.1 基本概念
- 环境变量(environment variables)一般是指在操作系统中用来指定操作系统运行环境的一些参数
- 如:我们在编写C/C++代码的时候,在链接的时候,从来不知道我们的所链接的动态静态库在哪里,但是照样可以链接成功,生成可执行程序,原因就是有相关环境变量帮助编译器进行查找。
- 环境变量通常具有某些特殊用途,还有在系统当中通常具有全局特性
6.2 常见环境变量
- PATH : 指定命令的搜索路径
- HOME : 指定用户的主工作目录(即用户登陆到Linux系统中时,默认的目录)
- SHELL : 当前Shell,它的值通常是/bin/bash。
查看环境变量方法:
echo $NAME //NAME:你的环境变量名称
测试PATH:
- 创建test.cpp文件
#include <iostream>
int main()
{
printf("hello world!\n");
return 0;
}
- 对比./test执行和之间test执行
- 为什么有些指令可以直接执行,不需要带路径,而我们的二进制程序需要带路径才能执行?
解答:那是因为使用的这些指令的路径都是通过环境变量配置好的,系统执行时会先去环境变量当中找路径,匹配就直接运行,不需要加前面的路径
当我们把自己的二进制程序加入到环境变量当中时就不需要加地址了。
当我们将环境变量改变时,正常的指令也不能正常运行
- 将我们的程序所在路径加入环境变量PATH当中,
export PATH=$PATH:程序所在路径 - 对比测试
- 还有什么方法可以不用带路径,直接就可以运行呢?
测试HOME:
- 用root和普通用户,分别执行 echo $HOME ,对比差异
普通用户:
root用户:
执行 cd ~; pwd ,对应 ~ 和 HOME 的关系
6.3 和环境变量相关的命令
- echo: 显示某个环境变量值
- export: 设置一个新的环境变量
- env: 显示所有环境变量
所有的环境变量:
- unset: 清除环境变量
- set: 显示本地定义的shell变量和环境变量
6.4 环境变量的组织方式
每个程序都会收到一张环境表,环境表是一个字符指针数组,每个指针指向一个以’\0’结尾的环境字符串
6.5 通过代码获取环境变量
- 命令行第三个参数
#include <stdio.h>
int main(int argc, char *argv[], char *env[])
{
int i = 0;
for(; env[i]; i++)
{
printf("%s\n", env[i]);
}
return 0;
}
- 通过第三方变量environ获取
#include <stdio.h>
int main(int argc, char *argv[])
{
extern char **environ;
int i = 0;
for(; environ[i]; i++)
{
printf("%s\n", environ[i]);
}
return 0;
}
libc中定义的全局变量environ指向环境变量表,environ没有包含在任何头文件中,所以在使用时 要用extern声明。
命令行参数:
基本实现代码:
#include <iostream>
#include <string.h>
#include <stdlib.h>
using namespace std;
int main(int argc, char* argv[])
{
if(argc != 2)
{
cout << "错误指令" << endl;
return 0;
}
if(strcmp(argv[1], "-a") == 0)
{
cout << "功能1" << endl;
}
else if(strcmp(argv[1], "-b") == 0)
{
cout << "功能2" << endl;
}
else if(strcmp(argv[1], "-c") == 0)
{
cout << "功能3" << endl;
}
else
{
cout << "功能4" << endl;
}
6.6 通过系统调用获取或设置环境变量
- putenv
- getenv
#include <stdio.h>
#include <stdlib.h>
int main()
{
printf("%s\n", getenv("PATH"));
return 0;
}
常用getenv和putenv函数来访问特定的环境变量。
环境变量通常是具有全局属性的:
- 环境变量通常具有全局属性,可以被子进程继承下去
#include <stdio.h>
#include <stdlib.h>
int main()
{
char * env = getenv("MYENV");
if(env)
{
printf("%s\n", env);
}
return 0;
}
直接查看,发现没有结果,说明该环境变量根本不存在
- 导出环境变量
export MYENV=“hello world” - 再次运行程序,发现结果有了!说明:环境变量是可以被子进程继承下去的!想想为什么?
- 如果只进行 MYENV=“helloworld” ,不调用export导出,在用我们的程序查看,会有什么结果?
解答:如果不加export,那么就是本地变量,本地变量是不会被子进程继承的,所有MYENV依然是空
7. 程序地址空间
7.1 程序地址空间回顾
在学习C/C++语言的时候,有如下空间布局图
注:正文代码的地址空间并不是最底层。
我们以前学的程序地址空间不是内存,即程序地址空间不是物理内存!程序地址空间准确的来说应该是进程地址空间,它是操作系统上的概念!
7.2 验证区域的地址划分
地址是依次增加的,且堆和栈之间有很大的地址空间!
验证代码:
int g_val_1;
int g_val_2 = 100;
int main(int argc, char *argv[], char *env[])
{
printf("code addr: %p\n", main);
const char *str = "hello bit";
printf("read only string addr: %p\n", str);
printf("init global value addr: %p\n", &g_val_2);
printf("uninit global value addr: %p\n", &g_val_1);
char *mem = (char*)malloc(100);
char *mem1 = (char*)malloc(100);
char *mem2 = (char*)malloc(100);
printf("heap addr: %p\n", mem);
printf("heap addr: %p\n", mem1);
printf("heap addr: %p\n", mem2);
printf("stack addr: %p\n", &str);
printf("stack addr: %p\n", &mem);
static int a = 0;
int b;
int c;
printf("a = stack addr: %p\n", &a);
printf("stack addr: %p\n", &b);
printf("stack addr: %p\n", &c);
int i = 0;
for(; argv[i]; i++)
printf("argv[%d]: %p\n", i, argv[i]);
for(i=0; env[i]; i++)
printf("env[%d]: %p\n", i, env[i]);
return 0;
}
验证堆和栈的增长方向:堆区向高地址增长,栈区向低地址增长!栈区先定义的地址较高!
7.3 感受地址空间的存在
证明代码:
int g_val = 100;
int main()
{
pid_t id = fork();
if(id == 0)
{
int cnt = 5;
// 子进程
while(1)
{
printf("i am child, pid : %d, ppid : %d, g_val: %d, &g_val: %p\n", getpid(), getppid(), g_val, &g_val);
sleep(1);
if(cnt) cnt--;
else {
g_val=200;
printf("子进程change g_val : 100->200\n");
cnt--;
}
}
}
else
{
// 父进程
while(1)
{
printf("i am parent, pid : %d, ppid : %d, g_val: %d, &g_val: %p\n", getpid(), getppid(), g_val, &g_val);
sleep(1);
}
}
}
运行结果:
父子进程读取同一个变量(因为地址一样),但是后续没有人修改的情况下,为什么父子进程读取到的内容却不一样??
结论:
我们在C/C++中使用的地址,不可能是物理地址。如果是物理地址,这种现象不可能产生,所以应该是虚拟地址。在Linux中,虚拟地址也叫作线性地址或者逻辑地址。
为什么操作系统不让我们直接看到物理内存呢??因为不安全。
内存就是一个硬件,不能阻拦你访问!只能被动的进行读取和写入!
7.4 虚拟进程地址空间
7.4.1 引入概念
每一个进程在启动的时候,都会让操作系统给他创建一个地址空间,该地址空间就是进程地址空间。
每一个进程都会有一个自己的进程地址空间!!
操作系统要不要管理这些进程地址空间呢??我们说了管理就是先描述再组织。实际上进程地址空间就是内核的一个数据结构,struct mm_struct。
7.4.2 什么是进程地址空间
我们已经知道进程具有独立性:多进程运行,需要独享各种资源,多进程运行期间互不干扰!无非就是进程相关的数据结构是独立的,进程的代码和数据是独立的。
假设身价10亿的富翁有3个私生子,为了不让3个儿子因为家产产生纠纷,富翁就骗每个儿子都是自己的独子,且为了维护3人之间的独立性,给每个儿子都制定了目标,只要达到目标就能继承10亿家产。
那么这里的富翁就是操作系统,三个私生子就是进程,富翁给三个私生子画的大饼就是虚拟进程地址空间。
所以进程地址空间是一个逻辑上抽象的概念:让每一个进程都认为自己是独占系统中所有资源的!!
所谓的地址空间:其实就是OS通过软件的方式,给进程提供了一个软件视角,认为自己会独占系统的所有资源(主要是内存)
每一个进程的PCB(task_struct)内都有一个mm_struct,内部就是我们所说的虚拟进程地址空间,所谓的栈区、堆区、数据段等区域都是通过链表来连接的,每个链表结构中有相应的虚拟地址编号(start、end)来划分栈、堆等区域。然后通过页表找到物理地址,最后对磁盘进行写入。
页表是程序加载到内存变成进程后操作系统自动构建的,里面记录的是虚拟地址和物理地址之间的映射关系。
所以看起来每个进程的不同区域的虚拟地址(栈,堆)都一样,实际上物理空间不一样。
7.5 程序是如何变成进程的
程序被编译出来,没有被加载的时候,程序内部也是有地址
程序被编译出来,没有被加载的时候,程序内部也是有区域(堆、栈等)划分
readelf -S //可执行程序
这条命令可以查看程序内部的区域划分
我们的可执行程序编译好后,在磁盘就已经有自己的一套地址和区域划分了,只不过堆区、栈区加载在内存时才有。程序内部的地址是编译器给的(按照逻辑地址的形式),在Linux中逻辑地址 = 线性地址 = 虚拟地址。即从全0到全F编址。
内存也是按照虚拟地址的形式编址,磁盘中程序的代码,全局变量等全部都是数据,加载到内存就有了物理地址,这个物理地址可以理解为"外部的"。就好比,你内部有一套地址,你坐进教室的座位上,座位上天然就有编号,你就自然又多了一套编号地址,用来找你在内存(教室)的什么位置。这个就叫物理地址。
假设操作系统直接通过物理地址找到程序在内存的位置,读取到程序的代码,但是程序的代码本身用的是编译器给的地址,CPU不认识啊。所以不能这样。所以CPU执行程序的代码从内存中读取到的是程序内部的逻辑地址,就需要内核的虚拟进程地址空间通过页表来映射程序加载到内存的数据的物理地址。
因为Linux和编译器使用的是同一套编址方式,所以在内存中看待程序就和磁盘中看待程序一样了。这样,只要页表映射好,只需要关心对应的资源在还是不在内存中,在就用,不在直接就能找到程序在磁盘的位置加载到内存中。
7.6 解答父子进程读取同一个变量数据不同的问题
当父进程被创建,父进程有自己的task_struct,task_struct会指向虚拟进程地址,虚拟进程地址自动构建页表映射到物理地址。
当fork创建子进程的时候,数据一般都是继承父进程的数据,因为子进程PCB是以父进程为模板。所以在全局变量没有写入的时候它们访问的变量是同一个,因为页表映射的物理地址是同一个。即没有写时拷贝!!!
但是当子进程需要修改变量的数据时,但是我们只要修改子进程的数据,不想修改父进程,这个有可能导致父进程出现问题,子进程就会影响到父进程。
但是知道进程具有独立性,所以当操作系统识别到子进程要修改这个全局变量的时候,操作系统会重新为子进程的这个变量重新开辟一段空间(写时拷贝),所以子进程就不会指向父进程变量的地址了,而是指向新开辟的空间的地址,在此空间进行修改。
所以在子进程修改变量时永远改变的是页表右侧(也就是物理地址),改变的是虚拟地址和物理地址的映射关系,而左侧不变。所以最终看到的虚拟地址一样,但是变量的数据却不一样!
如上过程就是写时拷贝:当父子有任何一个进程尝试去修改对应的变量之后,修改的那一方就会发生写时拷贝,让它重新去拷贝一份物理内存,改变的只是映射关系(物理地址),虚拟地址并不会发生改变!
利用写时拷贝可以不需要所有的代码和数据的拷贝一份,只需要拷贝修改的数据即可,这样大大增加了操作系统效率。
通过页表,父子进程就可以通过写时拷贝分离数据,达到父子进程具有独立性的特点!
7.7 fork有两个返回值,pid_t同一个变量怎么会有不同的值
pid_t id 是属于父进程栈空间中定义的变量,fork完成之过子进程就已经被创建了,也就是说子进程当中的数据和父进程目前是相等的,所以return会被执行两次,return的本质就是通过寄存器将返回值写入到接受返回值的变量中!
当id=fork()的时候,当两个进程的return的时候就会发生写时拷贝,所以同一个变量会有不同的内容值,本质是因为大家的虚拟地址是一样的,但是父子进程对应的物理地址是不一样的!!
7.8 为什么要有虚拟地址空间
如果直接访问物理地址,多个程序加载到内存时,如果一个进程发生的野指针问题,那么就会影响另一个进程,这是不安全的,同时也不符合进程具有独立性的特点!
如果通过虚拟地址的方式,访问内存添加了一层软硬件层,可以对转化过程进行审核,非法的访问,就可以直接拦截了!
使用虚拟进程的优点:
- 保护内存!
- 进程管理:Linux内存管理通过程序地址空间进行功能模块的解耦!
- 让进程或者程序可以用一种统一的视角看待内存!方便以统一的方式来编译和加载所有的可执行程序,简化进程本身的设计与实现!