先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
内核程序临界区访问的临界资源如果不尽快释放的话，极有可能影响到操作系统内核的其他管理工作.因此在访问内核程序临界区期间不能进行调度与切换
又比如说，此时一个进程要访问普通的临界区资源比如说打印机，在打印机打印完成之前，进程一直处于临界区内，临界资源不会解锁。但打印机又是慢速设备，此时如果一直不允许进程调度的话就会导致CPU一直空闲。所以为了增加操作系统的并发度，和CPU的利用率，在访问普通临界区的时候是可以进程调度的
进程调度的方式
- 非剥夺调度方式，又称非抢占方式。即，只允许进程主动放弃处理机。在运行过程中即便有更紧迫的任务到达，当前进程依然会继续使用处理机，直到该进程终止或主动要求进入阻塞态。实现简单，系统开销小但是无法及时处理紧急任务，适合于早期的批处理系统
- 剥夺调度方式，又称抢占方式。当一个进程正在处理机上执行时，如果有一个更重要或更紧迫的进程需要使用处理机，则立即暂停正在执行的进程，将处理机分配给更重要紧迫的那个进程。可以优先处理更紧急的进程，也可实现让各进程按时间片轮流执行的功能 (通过时钟中。适合于分时操作系统、实时操作系统
进程的切换方式
“狭义的进程调度”与“进程切换”的区别:
狭义的进程调度指的是从就绪队列中选中一个要运行的进程。 (这个进程可以是刚刚被暂停执行的进程也可能是另一个进程，后一种情况就需要进程切换)
进程切换是指一个进程让出处理机，由另一个进程占用处理机的过程。
广义的进程调度包含了选择一个进程和进程切换两个步骤。
进程切换的过程主要完成了:
1，对原来运行进程各种数据的保存
2，对新的进程各种数据的恢复
(如:程序计数器、程序状态字、各种数据寄存器等处理机现场信息，这些信息一般保存在进程控制块)
注意:进程切换是有代价的，因此如果过于频繁的进行进程调度、切换，必然会使整个系统的效率降低使系统大部分时间都花在了进程切换上，而真正用于执行进程的时间减少。
调度器/调度程序
时间片用完和被调度程序选中这两种调度，由调度程序引起，调度程序决定
让谁运行?一一调度算法
运行多长时间?-一时间片大小
调度时机一一什么事件会触发“调度程序” ?
- 创建新进程
- 进程退出
- 运行进程阻塞
- I/O中断发生(可能唤醒某些阻塞进程)
- 非抢占式调度策略，只有运行进程阻塞或退出才触发调度程序工作
- 抢占式调度策略，每个时钟中断或k个时钟中断会触发调度程序工作，调度程序来检测此时就绪队列有没有新进程到达，如果有就判断是否要抢占当前正在执行的进程，上CPU运行。
- 不支持内核级线程的操作系统，调度程序的处理对象是进程
- 支持内核级线程的操作系统，调度程序的处理对象是内核线程，那么此时进程就是分配资源的进程单位，而内核级线程就是调度的基本单位。
闲逛进程
调度程序永远的备胎，没有其他就绪进程时，运行闲逛进程(idle)
闲逛进程的特性:
- 优先级最低
- 执行的可以是0地址指令，占一个完整的指令周期(指令周期末尾例行检查中断)，这个中断就会周期性的唤醒调度程序，检查是否有其它的进程已经就绪，有的话就让就绪进程上处理机运行
- 能耗低
3. 调度算法的评价指标
CPU利用率
由于早期的CPU造价极其昂贵，因此人们会希望让CPU尽可能多地工作
CPU利用率：指CPU“忙碌”的时间占总时间的比例。
利用率$= \frac{CPU有效工作时间}{CPU总的运行时间} $
某计算机只支持单道程序，某个作业刚开始需要在cpu上运行5秒再用打印机打印输出5秒，之后再执行5秒，才能结束.在此过程中，CPU利用率、打印机利用率分别是多少。
CPU利用率
=
5
5
5
5
5
=
66.66
=\frac{5+5}{5+5+5}=66.66
=5+5+55+5=66.66%
打印机利用率
=
5
15
=
33.33
=\frac{5}{15}=33.33%
=155=33.33%
系统吞吐量
对于计算机来说，希望能用尽可能少的时间处理完尽可能多的作业
系统吞吐量：单位时间内完成作业的数量
系统吞吐量
=
总完成作业数
总花费时间
=\frac{总完成作业数}{总花费时间}
=总花费时间总完成作业数
某计算机系统处理完10道作业，共花费100秒，则系统吞吐量为?
10
100
=
0.1
\frac{10}{100}=0.1
10010=0.1道/秒
周转时间
对于计算机的用户来说，他很关心自己的作业从提交到完成花了多少时间。周转时间，是指从作业被提交给系统开始，到作业完成为止的这段时间间隔。
它包括四个部分:作业在外存后备队列上等待作业调度(高级调度)的时间、进程在就绪队列上等待进程调度(低级调度)的时间、进程在CPU上执行的时间、进程等待I/O操作完成的时间。后三项在一个作业的整个处理过程中，可能发生多次.
（作业）周转时间
=
作业完成时间
−
作业提交时间
=作业完成时间-作业提交时间
=作业完成时间−作业提交时间
对于用户来说，更关心自己的单个作业的周转时间
平均周转时间
=
各个作业周转时间之和
作业数
=\frac{各个作业周转时间之和}{作业数}
=作业数各个作业周转时间之和
对于操作系统来说，更关心系统的整体表现，因此更关心所有作业周转时间的平均值
带权周转时间
=
作业周转时间
作业实际运行时间
=
作业完成时间
−
作业提交时间
作业实际运行时间
=\frac{作业周转时间}{作业实际运行时间}=\frac{作业完成时间-作业提交时间}{作业实际运行时间}
=作业实际运行时间作业周转时间=作业实际运行时间作业完成时间−作业提交时间
平均带权周转时间
=
个作业带权周转时间和
作业数量
=\frac{个作业带权周转时间和}{作业数量}
=作业数量个作业带权周转时间和
对于周转时间相同的两个作业，实际运行时间长的作业在相同时间内被服务的时闯更多
带权周转时间更小，用户满意度更高
等待时间
计算机的用户希望自己的作业尽可能少的等待处理机，
等待时间，指进程/作业处于等待处理机状态时间之和，等待时间越长，用户满意度越低
对于进程来说，等待时间就是指进程建立后等待被服务的时间之和，在等待I/O完成的期间其实进
程也是在被服务的，所以不计入等待时间。
等待时间
=
=
=周转时间
−
−运行时间
对于作业来说，不仅要考虑建立进程后的等待时间，还要加上作业在外存后备队列中等待的时间
一个作业总共需要被CPU服务多久，被I/O设备服务多久一般是确定不变的，因此调度算法其实只会影响作业/进程的等待时间。当然，与前面指标类似，也有“平均等待时间”来评价整体性能。
响应时间
对于计算机用户来说，会希望自己的提交的请求(比如通过键盘输入了一个调试命令)尽早地开始被系
统服务、回应。
响应时间，指从用户提交请求到首次产生响应所用的时间。
响应比
=
响应时间
C
P
U
处理时间
=
等待时间
处理时间
处理时间
=
1
等待时间
处理时间
=\frac{响应时间}{CPU处理时间}=\frac{等待时间+处理时间}{处理时间}=1+\frac{等待时间}{处理时间}
=CPU处理时间响应时间=处理时间等待时间+处理时间=1+处理时间等待时间
4. 调度算法
先来先服务(FCFS)
-
算法思想：遵循先进入后备队列的作业，先进行调度的原则
-
算法规则：按照作业/进程到达的先后顺序进行服务
-
用于作业/进程调度：用于作业调度时，考虑的是哪个作业先到达后备队列: 用于进程调度时，考虑的是哪个进程先到达就绪队列。
-
是否可抢占?：非抢占式的算法
-
优缺点
- 优点:公平、算法实现简单
- 缺点：排在长作业(进程)后面的短作业需要等待很长时间，带权周转时间很大，对短作业来说用户体验不好。即FCFS算法对长作业有利，对短作业不利
- 有利于CPU繁忙的作业，不利于I/o繁忙的作业
-
是否会导致饥饿：不会
短作业优先(SJF)
- 算法思想：根据作业控制块中作业申请时指出的执行时间，选取执行时间最短的作业优先调度。
- 算法规则：只要就绪队列中出现了需要执行时间比当前正在运行作业的剩余处理时间更短的作业，则该作业会抢占当前正在运行的作业
- 用于作业/进程调度：即可用于作业调度，也可用于进程调度。用于进程调度时
称为“短进程优先(SPF,Shortest Process First)算法 - 是否抢占式服务？：抢占式的算法
- 算法优缺点：
- 克服FCFS调度算法对短作业不利的缺点，效率高，易于编程实现.不利于长作业.预先估计作业的执行时间
- 如果有源源不断的短作业/进程到来，可能就会导致长作业/长进程得不到服务，产生饥饿现象，如果一直得不到服务，则称为饿死
- 是否会导致饥饿：会
高响应比优先(HRRN)
- 算法思想：先来先服务调度算法只片面地考虑了作业的进入时间，短作业优先调度算法考虑了作业的运行时间而忽略了作业的等待时间。响应比高者优先调度算法为这两种算法的折中
- 算法规则：在每次调度时先计算各个作业/进程的响应比，选择响应比最高的作业/进程为其服务
- 高响应比优先的算法属于非抢占式的
响应比高优先调度算法不仅体现了等待时间长的作业会优先调度，而且还体现了处理时间短的作业也会优先调度，
该算法能够客观地对待长作业和短作业
- 是否会导致饥饿：不会
小结
注:这几种算法主要关心对用户的公平性、平均周转时间、平均等待时间等评价系统整体性能的指标，但是不关心“响应时间”，也并不区分任务的紧急程度，因此对于用户来说，交互性很糟糕。因此这三种算法一般适合用于早期的批处理系统，当然，FCFS算法也常结合其他的算法使用，在现在也扮演着很重要的角色。而适合用于交互式系统的调度算法。
时间片轮转调度算法(RR)
- 算法思想：公平地、轮流地为各个进程服务，让每个进程在一定时间间隔内都可以得到响应
- 算法规则：按照各进程到达就绪队列的顺序，轮流让各个进程执行一个时间片(如 100ms)。若进程未在一个时间片内执行完，则剥夺处理机，将进程重新放到就绪队列队尾重新排队。
- 用于作业/进程调度：用于进程调度(只有作业放入内存建立了相应的进程后才能被分配处理机时间片)
- 是否可抢占?：若进程未能在时间片内运行完，将被强行剥夺处理机使用权，因此时间片轮转调度算法属于抢占式的算法。由时钟装置发出时钟中断来通知CPU时间片已到
- 优缺点：
- 优点:公平;响应快，适用于分时操作系统;
- 缺点:由于高频率的进程切换，因此有一定开销;不区分
任务的紧急程度。
- 是否会导致饥饿：不会
如果时间片太大，使得每个进程都可以在一个时间片内就完成，则时间片轮转调度算法退化为先来先服务调度算法，并且会增大进程响应时间。因此时间片不能太大。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
列队尾重新排队。
- 用于作业/进程调度：用于进程调度(只有作业放入内存建立了相应的进程后才能被分配处理机时间片)
- 是否可抢占?：若进程未能在时间片内运行完，将被强行剥夺处理机使用权，因此时间片轮转调度算法属于抢占式的算法。由时钟装置发出时钟中断来通知CPU时间片已到
- 优缺点：
- 优点:公平;响应快，适用于分时操作系统;
- 缺点:由于高频率的进程切换，因此有一定开销;不区分
任务的紧急程度。
- 是否会导致饥饿：不会
如果时间片太大，使得每个进程都可以在一个时间片内就完成，则时间片轮转调度算法退化为先来先服务调度算法，并且会增大进程响应时间。因此时间片不能太大。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-gN4y2Z9r-1713407686305)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1220
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
