【linux 多线程并发】多任务调度器,调度策略时间片轮转,先进先出,多种实时任务的策略

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前在阿里

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化的资料的朋友,可以点击这里获取!

文章目录

前言

现代的CPU都是多core处理器,而且在intel处理器中每个core又可以多个processor,形成了多任务并行处理的硬件架构,在服务器端的处理器上架构又有一些不同,传统的采用SMP,也就是对称的多任务处理架构,每个任务都可以对等的访问所有内存,外设等,而如今在ARM系列CPU上,多采用NUMA架构,它将CPU核分了几个组,给每个组的CPU core分配了对应的内存和外设,CPU访问对应的内存和外设时速度最优,跨组访问时性能会降底一些。

随着硬件技术的持续发展,它们对一般应用的性能优化能力越来越强,同时对于服务器软件的开发,提出更高要求,要想达到极高的并发和性能,就需要充分利用当前硬件架构的特点,对它们进行压榨。那么,我们的应用至少也是要采用多任务架构,不管是多线程还是多进程的多任务架构,才可以充分利用硬件的资源,达到高效的处理能力。

当然多任务框架的采用,不仅仅是多线程的执行,需要对多任务下带来的问题进行处理,如任务执行返回值获取,任务间数据的传递,任务执行次序的协调;当然也不是任务越多处理越快,要避免线程过多导致操作系统夯住,也要防止任务空转过快导致CPU使用率飙高。

本专栏主要介绍使用多线程与多进程模型,如何搭建多任务的应用框架,同时对多任务下的数据通信,数据同步,任务控制,以及CPU core与任务绑定等相关知识的分享,让大家在实际开发中轻松构建自已的多任务程序。

概述

现代操作系统都是多任务的系统,它们都会有一个任务调度器的功能,在操作系统课程上,我们也学过各种任务调度算法,在实际实现中会依据各种应用场景实现多套不同的调度策略。

调度器介绍

多任务的调度是一项非常复杂的事情,linux的历史版本中,经常会对调度做一些优化,这里简单介绍一下linux的调度器。

在CPU中一般会有一个以上的core,每个core又可以分多个processor,常见的就是intel i5,i7的CPU, 在linux 下,可以通过 cat /proc/cpuinfo 查看,每个’core id’看对应几个processor。

实际运行的程序任务数量远远大于这些处理器的数量的,所以操作系统中一般会有一个调度器的模块,通过一定的方法,让各个任务都有机会在CPU上执行,常见的有时间片轮转,先来先服务,优先级抢占等策略;操作系统为了应对不同的使用场景,也制定了一系统策略供应用者选择。

linux调度器策略,有一些是给内核任务用的,有一些是留给用户任务,目前对这些策略分了五大类,这五类之间优先级是固定的,按优先级从高到低,分别为 Stop, Deadline, Realtime, CFS, Idle,每种类型下可能会有多种调度策略,下面简单分享一下。

在调度器中会维护一个任务的优先级队列,当产生任务时,会根据任务的优先级,将它插入到相同优先级的任务队列的末尾,当有高优先级任务时,会抢占低优先级任务。

而当一个任务时间片或周期到时,主动释放CPU后,但任务还没有完成,此任务仍然会重新插入到相同优先级的任务队列末尾,如果它是当前最高优先级任务时,它会被立即调度运行。

Stop-task scheduling 分类

在linux 内核代码中如下描述

// SPDX-License-Identifier: GPL-2.0
/\*
 \* stop-task scheduling class.
 \*
 \* The stop task is the highest priority task in the system, it preempts
 \* everything and will be preempted by nothing.
 \*
 \* See kernel/stop\_machine.c
 \*/
 

Stop scheduling class是优先级最高级别的调度,它可以抢占任何任务的资源,同时它不能被抢占,直到它自己完成或释放CPU。

这一特性决定它只能被内核线程使用,主要处理一些CPU切换的任务,也就是调度器的管理工作,比如通过top命令,可以看到有 migration/1,这里的数字是CPU core的意思,将任务在不同core之间迁移的调度。

deadline scheduling 分类

该分类下有一种处理策略 SCHED_DEADLINE, 这是在linux 3.14版本中引入的,它是用户线程优先级最高的处理级别,使用GEDF (Global Earliest Deadline First) 和 CBS (Constant Bandwidth Server) 两种算法的结合。

SCHED_DEADLINE 策略的任务,是以任务截止时间为调度周期,当该任务占用CPU时,会抢占比它优先级低的任务(比如后面大类下的策略任务),直到任务的截止时间到期,或者任务完成才会释放CPU。

此类策略主要用于多媒体处理,如音视频的编解码处理任务,和其它预设任务期限的处理。

在linux中,使用sched_setattr进行设置。

Realtime(RT) scheduling 分类

此分类下有两种调度策略可选,每种策略下还可以指定任务的优先级,优先级范围为 1-99,数字越大优先级越高;

当然此大类下的任务的优先级都高于后面介绍的大类的任务,同时优先级也低于前面两个大类的任务。

  • SCHED_FIFO: First in-first out scheduling
    这种策略相对简单,相同优先级的任务先入队的,先进行调度运行,直到更高优先级任务抢占,或者任务完成为止,或者自己释放CPU。
  • SCHED_RR: Round-robin scheduling
    此种策略是前一种的增强,运行周期最大为系统定义的时间片,超过时间片就会被调度到队列中,时间片可以通过sched_rr_get_interval函数进行查看。

这两种策略都可以用pthread_attr_setschedpolicy进行设置。

completely fair (CFS) scheduling 分类

正如分类名称,完全公平的调度,这一大类主要用于用户线程,创建线程时默认策略就是SCHED_OTHER;

此大类下有三种调度策略可选,它们的优先级必须设置为0,它们使用另一权重 nice 的设置,调整同类策略任务的优先级,nice值范围为-20 - 19, 值越小权重越大,也就是优先级越高。

为了做好运维面试路上的助攻手,特整理了上百道 【运维技术栈面试题集锦】 ,让你面试不慌心不跳,高薪offer怀里抱!

这次整理的面试题,小到shell、MySQL,大到K8s等云原生技术栈,不仅适合运维新人入行面试需要,还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

  • 174 道运维工程师面试题
  • 128道k8s面试题
  • 108道shell脚本面试题
  • 200道Linux面试题
  • 51道docker面试题
  • 35道Jenkis面试题
  • 78道MongoDB面试题
  • 17道ansible面试题
  • 60道dubbo面试题
  • 53道kafka面试
  • 18道mysql面试题
  • 40道nginx面试题
  • 77道redis面试题
  • 28道zookeeper

总计 1000+ 道面试题, 内容 又全含金量又高

  • 174道运维工程师面试题

1、什么是运维?

2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?

3、现在给你三百台服务器,你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?

7、Tomcat和Resin有什么区别,工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义?

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以点击这里获取!

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

研究,那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友,可以点击这里获取!

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值