一. 操作系统基础
什么是操作系统?
- 操作系统本质是软件;
- 管理计算机硬件和软件资源;
- 屏蔽了硬件层的复杂性
- 内核是操作系统核心,负责内存管理,硬件设备的管理,文件系统的管理,应用程序的管理
系统调用
- 用户态:用户态运行的进程可以直接读取用户程序的数据
- 系统态:系统态运行的进程几乎可以访问计算机任何资源,不受限制。
什么是系统调用
- 系统功能调用:就是用户在程序中使用“访管指令”调用由操作系统提供的子功能集合。其中每一个系统子功能称为一个系统调用命令,也叫广义指令。
- 调用系统态级别的资源就是系统调用,系统调用功能可分为:
- 设备管理 2. 文件管理 3. 进程控制 4. 进程通信 5. 内存管理
应用程序通过系统调用请求操作系统的服务。系统中的各种共享资源都由操作系统统一长官,因此在用户程序中,凡是与资源有关的操作(如存储分配、I/O操作、文件管理等),都必须通过系统调用的方式向操作系统提出服务请求,有操作系统代为完成。
为什么要用系统调用
- 系统调用相关处理涉及到对系统资源的管理、对进程的控制,这些功能需要执行一些特权指令才能完成,因此系统调用的相关处理需要在核心态下进行。
- 保证系统的稳定性和安全性,防止用户进行非法操作。
系统调用的过程
- 通知内核调用哪一个系统调用
- 每个系统调用都有一个系统调用号,内核根据系统调用号来知道是哪个系统调用的。
- 在×86架构中,用户程序将系统调用号放在eax(累加寄存器)中,系统调用处理程序通过eax取得系统调用号
- 用户程序把系统调用的参数传递给内核
- 系统调用的前5个参数放在ebx,ecx,edx,esi和edi中,如果参数多的话,还需要用个单独的寄存器存放指向所有参数在用户空间地址的指针。
- 用户程序获取内核返回的系统调用返回值
- 获取系统调用的返回值也是通过寄存器,放在eax中。
上下文切换
上下文的切换流程如下
(1)挂起当前进程,将这个进程在CPU中的状态(上下文信息)存储于PCB中。
(2)在下一个进程的PCB中检索上下文并将其在CPU的寄存器中恢复。
(3)跳转到程序计数器所指向的位置(即跳转到进程被中断时的代码行)并恢复该进程。
上下文切换与系统调用,中断之间的关系
二. 进程和线程
进程定义:一段程序的执行实例;操作系统调度的基本单位
线程定义:被包含在进程之中的一个实际运算单位;CPU调度的基本单位
进程和线程的关系:
⼀个进程中可以有多个线程,多个线程共享进程的堆和⽅法区 (JDK1.8 之后的元空间)资源,但是每个线程有⾃⼰的程序计数器、虚拟机栈 和 本地⽅法栈。
进程和线程有什么不同:
- 多个进程的执行是相互独立的,线程则不一定,同一进程间的线程可能会相互影响。
- 线程执行开销小,不利于资源的管理和保护;而进程则相反
进程有哪几种状态?
- 创建状态:进程正在被创建
- 就绪状态:等待CPU资源,一旦得到处理器资源即可执行
- 运行状态:进程在CPU上运行
- 阻塞状态:等待某一资源可用或某一事件发生后,进入就绪状态
- 结束状态:进程正在系统中消失;
进程间的通信方式
- 管道/匿名管道:本质是一个内核缓冲区,具有亲缘关系的进程间通信(父子进程、兄弟进城)
- 有名管道:以磁盘文件的形式存在,可实现本机任意两个进程通信。
- 信号:信号通知接收进程某个事件已发生;
- 消息队列:消息的链表,有特定的格式存放在内存中;可以实现消息的随机查询
- 信号量:本质上是个计数器,解决多进程访问共享数据的同步问题,限制的是最大访问同一资源的最大访问线程数。
- 共享内存:多个进程可以访问同一块内存,需要利用互斥锁或信号量解决同步问题。
- 套接字:用于客户端和服务器端之间的网络通信,也是TCP/IP网络通信的基本操作单元
线程间的同步方式
- 互斥量:本质上是锁,只有拥有互斥对象的线程才有访问公共资源的权限;
- 信号量:允许同一时刻多个线程访问统一资源,但是限制最大访问线程数
- 事件:通过通知操作的⽅式来保持多线程同步,还可以⽅便的实现多线程优先级的比较操作
进程的调度算法
- 先到先服务调度算法:从就绪队列选最先进入该队列的进程
- 短作业优先算法:从就绪队列中选一个估计运行时间最短的进程执行
- 时间片轮转算法:为每一个进程分配一个运行时间段,最简单、公平的算法。
- 多级反馈队列算法:结合了先来先服务、优先级、时间片轮转算法,⽬前被公认的⼀种较好的进程调度算法,UNIX 操作系统采取的便是这种调度算法。
- 优先级调度:根据内存要求,时间要求和其他资源要求来确定优先级,优先级高的先执行。
三. 操作系统内存管理基础
内存管理主要是做什么?
主要负责内存的分配与回收,地址转换(将逻辑地址转换成相应的物理地址)
虚拟内存
局部性原理
局部性原理是虚拟内存能够实现的基础;程序运行(程序结构,数据结构)具有局部性原理,即只装入部分程序到内存就可以运行,具体表现在两个方面:
1、时间局部性:程序中某条指令一旦执行,不久以后该指令可能再次执行;某数据被访问过,不久以后该数据可能再次被访问。产生的原因是程序中存在大量循环操作。(如果一个内存位置被重复的引用,那就是有了时间局部性)
2、空间局部性:程序中某条指令一旦执行,不久以后该指令后面的指令也会被执行,因为程序的指令通常是顺序存放并执行的;一旦程序访问了某个存储单元,不久后,其附近的存储单元也将被访问,因为数据一般是以数组、表等形式簇聚存储的;(如果一个内存位置被引用了,很快这个位置的附近位置也被引用了,这就有了空间局部性)
利用局部性原理,用高速缓存存储器实现更细粒度的存储(相比于主存的换入换出),提高程序运行的性能。
什么是虚拟内存?
- 计算机系统内存管理的一种技术,使得应用程序认为它拥有连续的可用内存(一个连续完整的空间),而实际上,它通常是被分割成多个物理碎片,还有部分暂时存储在外部磁盘存储器上,在需要时进行数据交换。
- 特点:连续,扩展;
- 优点:它定义了一个连续的虚拟地址空间,并把内存扩展到硬盘空间。
- 程序所使用的内存空间地址是虚拟内存地址;
- 硬件里的空间地址是物理内存地址;
- CPU 是直接操作内存的「物理地址」
常见的几种内存管理机制(虚拟内存的实现方式)
简单分为连续分配管理方式和非连续分配管理方式。
连续分配管理方式:块式管理
非连续分配管理方式:页式管理和段式管理。允许一个应用程序使用的内存分配在离散的或者不相邻的内存中
- 块式管理:将内存分块,每个块只包含一个进程。会产生碎片,内存被浪费
- 页式管理:页较小,划分力度大,提高了内存利用率。
- 段式管理:划分力度比页式管理大,每一段的空间更小,重要的是段有实际意义的,包含逻辑信息:主程序段 MAIN、⼦程序段X、数据段 D 及栈段 S 等。分段的好处就是能产生连续的内存空间,但是会出现内存碎片和内存交换的空间太大的问题。
- 段页式管理:把主存先分成若⼲段,每个段⼜分成若⼲⻚,也就是说 段⻚式管理机制中段与段之间以及段的内部的都是离散的。
内存分段详述
- 分段机制下的虚拟地址由 段选择因子 和 段内偏移量组成;
- 段选择因子保存在段寄存器中;包括段号,作为段表的索引。段表中保存的是这个段的基地址、段的界限和特权等级等
段式存储是 虚拟细致通过段表与屋里第一进行映射的。
缺点:
- 产生内存碎片的问题
- 为了解决内存碎片问题,用内存交换的方式解决,但是内存交换效率低
内存碎片产生的原因
内存释放后, 256MB 不是连续的,被分成了两段 128 MB 内存,这就会导致没有空间再打开一个 200MB 的程序。
用内存交换解决这个问题,将音乐程序占用的256MB写到磁盘上(因为磁盘的访问速度慢,所以效率低),然后再从磁盘上读回来到内存,装载的内存空间是紧贴着已占用的内存空间。
内存交换效率低的原因
- 交换的是一个占内存空间很大的程序,这样整个机器都会显得卡顿
- 因为磁盘的访问速度慢
为了解决内存分段的内存碎片和内存交换效率低的问题,就出现了内存分页。
内存分页详述
内存分页的目的是让 内存碎片变小 和 内存交换的数据更小
分页是把整个虚拟内存和物理内存空间切成一段段固定尺寸的大小,这样一个连续并且尺寸固定的内存空间,叫做页,在Linux下,每一页的大小时4kb
页表实际上存储在CPU的内存管理单元(MMU)中;而当进程访问的虚拟地址在页表中查不到时,系统会产生一个缺页异常,进入系统内核空间分配物理内存、更新进程页表,最后再返回用户空间,恢复进程的运行。
分页是如何解决分段中的内存碎片大和内存交换效率低的问题呢?
分页(Paging)的方式对虚拟地址空间和物理地址空间进行分割和映射,分页的页面物理地址非连续且粒度小,以减小换入换出的粒度,提高程序运行效率。
一个程序无须全部加载就可以运行;当程序运行时,只需要将必要的数据读到内存(换入),用不到的数据先留在磁盘(换出),等用到的时候再取。注:与分段的内存交换时机不一样。
分页机制下的虚拟地址和物理地址的映射
缺点:页表占的空间很大,因为每个进程都有自己的虚拟地址空间,都有自己的页表。在 32 位的环境下,虚拟地址空间共有 4GB,假设一个页的大小是 4KB(2^12),那么就需要大约 100 万 (2^20) 个页,每个「页表项」需要 4 个字节大小来存储,那么整个 4GB 空间的映射就需要有 4MB 的内存来存储页表,100 个进程的话,就需要 400MB 的内存来存储页表,这是非常大的内存了,更别说 64 位的环境了。解决方法是划分多级页表。
段页式内存管理详述
段页式内存管理实现的方式:
-
先将程序划分为多个有逻辑意义的段,也就是前面提到的分段机制;
-
接着再把每个段划分为多个页,也就是对分段划分出来的连续空间,再划分固定大小的页;
段页式地址变换得到物理地址需要经过3次内存访问:
- 访问段表,得到页表起始地址
- 访问页表,得到物理页号
- 将物理页号与页内位移组合,得到物理地址。
优点:提高了内存利用率
缺点:软、硬件结合的方式实现段页式地址变换,增加了硬件成本和系统开销。
页面置换算法
缺页中断的时候启用页面置换算法
- OPT页面置换算法(最佳页面置换算法):每轮淘汰的页面以后永不使用,保证缺页率最低,无法实现。
- FIFO页面置换算法(先进先出置换页面算法):总是先淘汰最先进入内存的页面
- LRU页面置换算法(最久未使用的页面置换算法):淘汰最近最久未使用的页面
- LFU特面值换算法(最少使用页面置换算法):淘汰使用次数最少的页面