【学习日记】操作系统-入门知识-个人学习记录

最新推荐文章于 2024-05-18 17:40:35 发布
最新推荐文章于 2024-05-18 17:40:35 发布
阅读量711 收藏
点赞数 1
分类专栏： Linux 其他\环境配置\学习笔记等 C/C++/算法/数据结构 文章标签： 学习 java linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44211644/article/details/131083935
版权

我的学习笔记链接：
MyLinuxProgramming

参考资料

操作系统概念

  • 特点

    • 并发
    • 共享
    • 虚拟
    • 异步

  • Linux

    • 多任务、SMP对称多处理、ELF可执行文件、宏内核

  • Windows

    • NT、PE可执行文件、混合型内核

进程与线程

-进程

  • 进程的状态

    • 运行台 就绪态 阻塞态（等待态） 创建态 终止态
      请添加图片描述

  • 进程控制块 PCB

    • PCB 是进程存在的唯一标志

  • 并发：交替进行

  • 并行：同时进行 --流水线

-线程

  • 线程间可以并发运行且共享相同的地址空间

  • 进程中一个线程崩溃，其他线程都崩溃

  • 线程是调度的基本单位，进程是资源拥有的基本单位

  • 线程的实现

    • 用户线程的整个线程管理和调度，操作系统不直接参与
    • 用户级线程库函数来完成线程的管理，包括线程的创建、终止、同步和调度等
    • 内核线程由操作系统管理程对应的TCB放在操作系统
    • 内核线程的创建、终止和管理都由操作系统负责
    • 轻量级线程 LWP

-进程调度算法

  • 需要考虑的因素

    • CPU利用率
    • 吞吐量。长作业会降低吞吐量
    • 周转时间。进程运行和阻塞时间的总和
    • 等待时间。进程处于就绪队列的时间
    • 响应时间。交互式系统中衡量调度算法的主要标准

  • FCFS 先来先服务调度算法

    • 不可剥夺
    • 效率低，适用于CPU繁忙型作业
    • 对长作业有利，对短作业不利

  • SJF 短作业优先调度算法

    • 对短作业有利
    • 相比FCFS降低了平均周转时间
    • 可能会导致长作业“饥饿”现象

  • 优先级调度算法

    • 分为非抢占式和抢占式
    • 优先级设置规则：
      • 系统进程>用户进程 交互型>非交互型 I/O型>计算型

  • RR 时间片轮转调度算法

    • 适用于分时系统，提高交互体验
    • 选择适当的时间片很重要

  • MLFQ 多级反馈队列调度算法
    请添加图片描述

    • 动态调整优先级和时间片大小
    • 多个就绪队列，每个队列不同优先级
    • 每个队列进程运行时间片不同
    • 每个队列采用FCFS算法
    • 按队列优先级调度
    • 优点：短作业优先，周转时间短，长作业不会饿死

-协程

  • 是一种比线程更加轻量级的存在
  • 正如一个进程可以拥有多个线程一样，一个线程也可以拥有多个协程
  • 协程不被操作系统内核所管理，而是完全由程序所控制（也就是在用户态执行）
  • 协程的优点是性能得到了很大的提升，不像线程切换那样消耗资源

进程间通信 IPC

-管道

  • 管道是内核中的一串缓存，无格式且大小受限

  • 一次性操作，只支持半双工

  • 生产者消费者模式

  • 匿名管道。Linux命令行中的 “|”

    • 只能用于父子关系的进程间通信

  • 命名管道。FIFO

    mkfifo myPipe
echo "hello" > myPipe
cat < myPipe

请添加图片描述

-消息队列

  • 消息队列是内核中的消息链表
  • 不适合大数据传输

-共享内存

  • 共享内存的机制是拿出一块虚拟地址空间，映射到相同的物理内存中

-信号量

  • 信号量是一个整型的计数器
  • 用于实现进程间的互斥与同步
  • P、V 操作
    • P操作使得信号量减1
    • V操作使得信号量加1

-信号

  • 可参考APUE第10章
  • 唯一的异步通信机制
  • 两种无法捕捉和忽略的信号：SIGKILL、SEGSTOP

-Socket

int socket(int domain, int type, int protocal)

  • 字节流SOCKSTREAM、数据包SOCKDGRAM

  • 基于TCP协议的通信示例：

请添加图片描述

  • 1.服务端和客户端初始化socket，得到文件描述符
  • 2.服务端调用bind，绑定IP和端口
  • 3.服务端调用listen，开始监听
  • 4.服务端调用accept，等待客户端连接
  • 5.客户端调用connect，向服务端IP和端口发起连接请求
  • 6.服务端调用accept，返回用于传输的socket文件描述符
  • 7.客户端调用write写入数据
  • 8.服务端调用read读取数据
  • 9.客户端断开连接时，调用close，那么服务端read读取数据的时候，会读到EOF，待处理完数据后，服务端调用 close，表示连接关闭
  • 这里需要注意的是，服务端调用 accept 时，连接成功了会返回一个已完成连接的 socket，后续用来传输数据。

多线程同步

  • 多个线程如果竞争共享资源，如果不采取有效的措施，则会造成共享数据的混乱
  • 竞争条件。不确定性
  • 临界区

-互斥与同步

  • 同步举例：「操作 A 应在操作 B 之前执行」，「操作 C 必须在操作 A 和操作 B 都完成之后才能执行」等

  • 互斥举例：「操作 A 和操作 B 不能在同一时刻执行」

  • 锁

    • 原子操作指令 —— 测试和置位（Test-and-Set）
    int TestAndSet(int *old_ptr, int new)
{
  int old = *old_ptr;
  *old_ptr = new;
  return old;
}
    • 忙等待锁。也称为自旋锁
    • 无等待锁。

  • 信号量

    • P/V操作
    // 信号量数据结构
type struct sem_t{
  int sem;  // 资源个数
  queue_t *q;  // 等待队列
} sem_t;

// 初始化信号量
void init(sem_t *s, int sem)
{
  s->sem = sem;
  queue_init(s->q);
}

// P操作
void P(sem_t *s)
{
  s->sem--;
  if(s->sem < 0)
  {
    // 1、保留调用线程CPU现场
    // 2、将该线程的TCB插入s的等待队列
    // 3、设置该线程为等待状态
    // 4、执行调度程序
  }
}
    
// V操作
void V(sem_t *s)
{
  s->sem++;
  if(s->sem <= 0)
  {
    // 1、移除s等待队列首元素
    // 2、将该线程的TCB插入就绪队列
    // 3、设置该线程为就绪状态
  }
}
    • 对于两个并发线程，互斥信号量的值仅取 1、0 和 -1 三个值
    • 如果互斥信号量为 1，表示没有线程进入临界区
    • 如果互斥信号量为 0，表示有一个线程进入临界区
    • 如果互斥信号量为 -1，表示一个线程进入临界区，另一个线程等待进入
    • 通过互斥信号量的方式，能保证临界区任何时刻只有一个线程在执行，就达到了互斥的效果。

-生产者-消费者问题

  • 问题描述：

    • 生产者在生成数据后，放在一个缓冲区中
    • 消费者从缓冲区取出数据处理
    • 任何时刻，只能有一个生产者或消费者可以访问缓冲区

  • 互斥与同步的体现：

    • 任何时刻只能有一个线程操作缓冲区，操作缓冲区是临界代码，说明需要互斥
    • 缓冲区空时，消费者必须等待生产者生成数据；缓冲区满时，生产者必须等待消费者取出数据。说明需要同步

  • 需要三个信号量：

    • 互斥信号量 mutex：用于互斥访问缓冲区，初始化值为 1
    • 资源信号量 fullBuffers：用于消费者询问缓冲区是否有数据，有数据则读取数据，初始化值为 0（表明缓冲区一开始为空）；
    • 资源信号量 emptyBuffers：用于生产者询问缓冲区是否有空位，有空位则生成数据，初始化值为 n （缓冲区大小）
    semaphore mutex = 1;
semaphore empty = n;  // 空闲缓冲区大小
semaphore full = 0;   // 缓冲区初始为空
producer()
{
  while(1)
  {
    生产数据...
    P(empty);
    P(mutex);
    把数据放入缓冲区...
    V(mutex);
    V(full);      
  }
}
consumer()
{
  while(1)
  {
    P(full);
    P(mutex);
    从缓冲区中取出数据...
    V(mutex);
    V(empty);
    消费数据...      
  }
}

-哲学家就餐问题

-读写者问题

  • …

锁

-死锁

  • 死锁产生需同时满足的四个条件

    • 互斥
      请添加图片描述

    • 不剥夺
      请添加图片描述

    • 请求并保持
      请添加图片描述

    • 循环等待
      请添加图片描述

  • pstack <pid>显示每个线程的栈跟踪信息（函数调用过程）

-避免死锁

  • 破坏四个条件之一即可
  • 使用资源有序分配法，破坏环路等待条件
  • 死锁避免算法：银行家算法

-锁的种类

  • 加锁的目的是保证共享资源在任意时间里，只有一个线程访问，避免多线程导致共享数据错乱的问题

  • 互斥锁 [独占锁]

    • 加锁失败后，线程会释放CPU
      请添加图片描述

  • 自旋锁

    • 加锁失败后，线程会忙等待
    • 相对来说开销比互斥锁小一点

  • 读写锁

    • 适用于读多写少的场景
      请添加图片描述

    • 公平读写锁，防止饥饿问题

  • 悲观锁

    • 悲观锁认为多线程同时修改共享资源的概率比较高，于是很容易出现冲突，所以访问共享资源前先要上锁

  • 乐观锁

    • 如果多线程同时修改共享资源的概率比较低，就可以采用乐观锁
    • 乐观锁假定冲突的概率很低
    • 乐观锁的工作方式：
      • 先修改完共享资源，再验证这段时间内有没有发生冲突
      • 如果没有其他线程在修改资源，操作完成
      • 如果发现有其他线程已经修改过这个资源，放弃本次操作
    • 乐观锁的应用：在线文档多人编辑、Git、SVN

内存管理

-虚拟内存

  • 不同进程的虚拟地址和不同内存的物理地址映射

  • 虚拟地址（VA）—> 内存管理单元（MMU） —> [映射到]物理地址（PA）

  • 管理方式：内存分段和内存分页

  • 内存分段：

    • 段表：段号、段基地址、段界限
    • 问题：内存碎片、交换效率低

  • 内存分页

    • 把整个虚拟和物理内存空间分为若干页
    • 每一页4kb
    • 换出换入 swap out / swap in
      请添加图片描述
    • 页表：页号、页内偏移
    • 多级页表
      • 解决页表过大的问题
    • TLB-Translation Lookaside Buffer
      • 页表缓存，局部性原理

  • 段页式内存管理

    • 段号、段内页号和页内位移
    • 第一次访问段表，得到页表起始地址；
    • 第二次访问页表，得到物理页号；
    • 第三次将物理页号与页内位移组合，得到物理地址。
      请添加图片描述

-Linux内存管理

请添加图片描述

  • 程序文件段 .text
    • 包括二进制可执行代码
  • 已初始化数据段 .data
    • 包括静态常量
  • 未初始化数据段 .bss
    • 包括未初始化的静态变量
  • 堆段
    • 包括动态分配的内存，从低地址开始向上增长
  • 文件映射段
    • 包括动态库、共享内存等，从低地址开始向上增长（跟硬件和内核版本有关）
  • 栈段
    • 包括局部变量和函数调用的上下文等
  • 堆和文件映射段的内存动态分配
    • 比如使用C标准库的 malloc() 或 mmap() ，就可以分别在堆和文件映射段动态分配内存。

-页面置换算法

  • OPT 最佳置换算法

    • 无法实现，但作为评价基准

  • FIFO 先进先出页面置换算法

    • Belady异常

  • LRU 最近最久未使用置换算法

    • 最新访问放在第一位
    • 缓存满了删除末尾（最不经常访问的数据）

-磁盘调度算法

  • FCFS 先来先服务算法

  • SSF 最短寻道时间优先

    • 优先选择从当前磁头位置所需寻道时间最短的请求
    • 可能产生饥饿：磁头在一小块区域来回移动

  • SCAN 扫描算法（电梯算法）

    • 磁头在一个方向上移动，访问所有未完成的请求
    • 直到磁头到达该方向上的最后的磁道，才调换方向
      请添加图片描述

  • C-SCAN 循环扫描算法

    • 有磁头朝某个特定方向移动时，才处理磁道访问请求
    • 返回时直接快速移动至最靠边缘的磁道，也就是复位磁头，并且返回中途不处理任何请求
      请添加图片描述

  • LOOK与C-LOOK算法

    • SCAN的优化：LOOK。磁头在移动到「最远的请求」位置，然后立即反向移动
    • C-SCAN的优化：C-LOOK。反向移动途中不响应请求

文件系统

-组成

  • 一切皆文件
    请添加图片描述

  • Linux文件系统组成：

    • 索引节点 inode
      • 记录文件的元信息，如 inode 编号、文件大小、访问权限、创建时间、修改时间、数据在磁盘的位置等等
      • 索引节点是文件的唯一标识
    • 目录项 dentry
      • 记录文件的名字、索引节点指针以及与其他目录项的层级关联关系

  • 磁盘读写最小单位是扇区 512B

  • 文件系统把多个扇区组成了逻辑块

  • Linux中逻辑块大小为4KB，也就是8个扇区

-虚拟文件系统 VFS

  • Linux支持的文件系统分为三类：
    • 磁盘文件系统。占用磁盘空间。如Ext 2/3/4
    • 内存文件系统。占用内存空间。如/proc /sys
    • 网络文件系统。如NFS、SMB

文件的使用

  • 文件描述符 fd
  • 系统调用。open(); write(); close();
  • 打开文件表中维护打开文件的状态和信息：
    • 文件指针
    • 文件打开计数器
    • 文件磁盘位置
    • 访问权限

-文件存储

  • 连续空间存放

    • 指定起始块位置和长度
    • 缺点：磁盘空间碎片、文件长度不易扩展

  • 非连续空间存放方式

    • 链表方式或索引方式

    • 「隐式链表」：文件头要包含「第一块」和「最后一块」的位置，并且每个数据块里面留出一个指针空间，用来存放下一个数据块的位置

    • 「显式链接」：把用于链接文件各数据块的指针，显式地存放在内存的一张链接表中，该表在整个磁盘仅设置一张，每个表项中存放链接指针，指向下一个数据块号

      • 文件分配表 FAT

    • 「索引数据块」：里面存放了指向文件数据块的指针列表（相当于书的目录）

      • 没有碎片问题
      • 方便创建、扩大、缩小
      • 支持顺序读写和随机读写

    • 「链式索引块」：链表加索引的组合

      • 在索引数据块留出一个存放下一个索引数据块的指针
        请添加图片描述

    • 「多级索引块」

-空闲空间管理

  • 空闲表法

  • 空闲链表法
    请添加图片描述

  • 位图法

-软链接和硬链接

  • 硬链接

    • 只有删除文件所有硬链接及源文件时，系统才会彻底删除该文件

  • 软链接

    • 跨文件系统
    • 相当于重新创建文件，有独立的inode
    • 该文件的内容是另外一个文件的路径

-文件I/O

  • 直接与非直接 I/O
  • 阻塞与非阻塞 I/O
    • I/O 多路复用技术。如select poll
  • 同步与异步 I/O

设备管理

  • 输入输出设备可分为两大类：

    • 块设备（Block Device）
    • 字符设备（Character Device）

  • 中断有两种:

    • 软中断，例如代码调用 INT 指令触发
    • 硬件中断，硬件通过中断控制器触发的

  • DMA

    • 设备在 CPU 不参与的情况下，能够自行完成把设备 I/O 数据放入到内存
      请添加图片描述

  • 设备驱动程序

  • 存储系统I/O软件分层

    • 文件系统层、通用块层、设备层
      请添加图片描述
RainyMacondo
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
前端学习日记-个人资料
04-29
前端学习日记-个人资料
【学习日记】图像处理-计算机视觉学习路线--个人记录
weixin_44211644的博客
07-29 1199
在此做个记录
【Redis7学习日记】—— 入门概述配置篇
欢迎来到我的世界
03-31 623
介绍了Redis的基本概念与开始前的环境搭建
【学习日记2023.6.4】之 Linux入门
qq_42575689的博客
06-04 730
Linux入门
第七周编程学习笔记（4.17-4.23）
z377989129的博客
04-11 415
第一周4.10 星期一 第二周4.11 星期二 第三周4.12 星期三
行业教育软件-学习软件-松鼠日记PPT课件 免费版.zip
08-03
行业教育软件-学习软件-松鼠日记PPT课件 免费版.zip
springboot学习日记(一-六)
10-19
springboot学习日记(一--六)
diary-boot:日记管理系统 Spring Boot 版
05-11
diary-boot(日记管理系统) 简述如果你有写日记的习惯，想要记录生活中的重要事件，那么diary-boot将是一个不错的选择。有了它，你将不需要日记本和笔，只要有网络就能随时随地记录你的感受。开发环境IntelliJ IDEA...
FME学习之旅---day27
summer_corner的博客
05-17 195
我们付出一些成本，时间的或者其他，最终总能收获一些什么。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1097
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
微信小程序学习（第八章作业）
weixin_74181724的博客
05-13 575
留言板是一款能实现浏览留言、发表留言、删除留言和编辑留言的小程序，用户能够浏览当前的已留言内容，并且能按照时间的升序来查看最新的留言内容;能够发表自己的留言内容，在留言发表页填写相关项后即可发表，并能查看到新留言内容;能够删除不需要的留言;能够修改留言内容。因此，简单留言板的功能主要为显示留言、发表留言删除留言和编辑留言。
WEB转Flutter基础学习笔记（内含vue和flutter对比）
小易不止于搬砖的博客
05-17 671
笔者是一名web前端，记录在转栈flutter时的学习笔记，内涵和vue的对比，能够辅助前端同学更容易理解flutter
web安全学习笔记（18）
最新发布
m0_58875569的博客
05-18 597
记一下第31-32节课的内容。未授权访问漏洞；逻辑漏洞之任意用户密码重置的7种常用姿势
Page对象的学习
2301_77523055的博客
05-14 1003
ASP.NET允许开发者创建自定义控件和用户控件来扩展页面的功能。自定义控件是从现有的ASP.NET控件派生出来的新控件，而用户控件则是将多个控件组合成一个可重用的单元。这些控件可以像其他ASP.NET控件一样在页面上使用，并通过Page对象进行交互。Page_Init主要用于在控件加载之前进行初始化设置和添加事件处理程序。Page_Load主要用于处理页面回发和加载数据，以及执行其他需要在页面加载时完成的逻辑。由于Page_Init在Page_Load之前触发，因此在Page_Init。
学习kong官方文档
好好学习日记
05-17 271
当然，我会用更简洁的方式重新解释这两个概念：Helm和Kubectl是Kubernetes生态系统中常用的两个工具，它们各自有不同的用途：
推荐系统学习笔记（一）
weixin_44880995的博客
05-15 146
同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰。反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测。10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层。保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献。同层互斥----避免一个用户被两个实验影响。不同层正交----每层独立随机分配用户。推全：新层，与其他层正交，90%用户。
RustGUI学习（iced/iced_aw）之扩展小部件（十九）：如何使用context_menu部件来创建右击菜单？
用沸腾的热血，支付我们的人生吧！
05-15 66
本专栏是学习Rust的GUI库iced的合集，将介绍iced涉及的各个小部件分别介绍，最后会汇总为一个总的程序。iced是RustGUI中比较强大的一个，目前处于发展中（即版本可能会改变），本专栏基于版本0.12.1.
安卓多功能日记本E-R图
06-12
针对安卓多功能日记本E-R图的设计，可以按照以下步骤进行： 1. 确定实体：首先需要确定在日记本中需要用到的实体，例如日记、用户、标签等。 2. 确定实体之间的关系：在确定实体之后，需要确定实体之间的关系，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值