Kubernetes核心原理(三)之Scheduler

本文个人博客地址:http://www.huweihuang.com/article/kubernetes/core-principle/kubernetes-core-principle-scheduler/

1. 1. Scheduler简介

Scheduler负责Pod调度。在整个系统中起"承上启下"作用。

承上:负责接收Controller Manager创建的新的Pod,为其选择一个合适的Node。

启下:Node上的kubelet接管Pod的生命周期。

Scheduler

1)通过调度算法为待调度Pod列表的每个Pod从Node列表中选择一个最适合的Node,并将信息写入etcd中

2)kubelet通过API Server监听到kubernetes Scheduler产生的Pod绑定信息,然后获取对应的Pod清单,下载Image,并启动容器。


2. 2. 调度流程

1、预选调度过程,即遍历所有目标Node,筛选出符合要求的候选节点,kubernetes内置了多种预选策略(xxx Predicates)供用户选择

2、确定最优节点,在第一步的基础上采用优选策略(xxx Priority)计算出每个候选节点的积分,取最高积分。

调度流程通过插件式加载的“调度算法提供者”(AlgorithmProvider)具体实现,一个调度算法提供者就是包括一组预选策略与一组优选策略的结构体。

3. 3. 预选策略

说明:返回true表示该节点满足该Pod的调度条件;返回false表示该节点不满足该Pod的调度条件。

3.1. 3.1. NoDiskConflict

判断备选Pod的数据卷是否与该Node上已存在Pod挂载的数据卷冲突,如果是则返回false,否则返回true。

3.2. 3.2. PodFitsResources

判断备选节点的资源是否满足备选Pod的需求,即节点的剩余资源满不满足该Pod的资源使用。

  1. 计算备选Pod和节点中已用资源(该节点所有Pod的使用资源)的总和。
  2. 获取备选节点的状态信息,包括节点资源信息。
  3. 如果(备选Pod+节点已用资源>该节点总资源)则返回false,即剩余资源不满足该Pod使用;否则返回true。

3.3. 3.3. PodSelectorMatches

判断节点是否包含备选Pod的标签选择器指定的标签,即通过标签来选择Node。

  1. 如果Pod中没有指定spec.nodeSelector,则返回true。
  2. 否则获得备选节点的标签信息,判断该节点的标签信息中是否包含该Pod的spec.nodeSelector中指定的标签,如果包含返回true,否则返回false。

3.4. 3.4. PodFitsHost

判断备选Pod的spec.nodeName所指定的节点名称与备选节点名称是否一致,如果一致返回true,否则返回false。

3.5. 3.5. CheckNodeLabelPresence

检查备选节点中是否有Scheduler配置的标签,如果有返回true,否则返回false。

3.6. 3.6. CheckServiceAffinity

判断备选节点是否包含Scheduler配置的标签,如果有返回true,否则返回false。

3.7. 3.7. PodFitsPorts

判断备选Pod所用的端口列表中的端口是否在备选节点中已被占用,如果被占用返回false,否则返回true。

4. 4. 优选策略

4.1. 4.1. LeastRequestedPriority

优先从备选节点列表中选择资源消耗最小的节点(CPU+内存)。

4.2. 4.2. CalculateNodeLabelPriority

优先选择含有指定Label的节点。

4.3. 4.3. BalancedResourceAllocation

优先从备选节点列表中选择各项资源使用率最均衡的节点。


参考《Kubernetes权威指南》


  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy是一个Python编写的开源Web爬虫框架,可以用于抓取互联网上的数据或者进行数据挖掘。它的核心原理是基于Twisted异步网络框架构建的,可以同时并发抓取多个网页,从而提高数据爬取的效率。 Scrapy的核心组件包括:引擎(Engine)、调度器(Scheduler)、下载器(Downloader)、爬虫中间件(Spider Middlewares)、下载器中间件(Downloader Middlewares)和项目管道(Item Pipelines)。 引擎是Scrapy的核心组件,它负责控制整个爬虫的运行流程,并协调其他组件之间的工作。当爬虫启动时,引擎会从调度器中取出一个URL,并把它交给下载器进行下载。下载完成后,引擎会把下载器返回的响应交给爬虫解析,从而得到需要的数据。 调度器负责管理待爬取的URL队列,并根据一定的策略进行调度。当引擎需要获取新的URL时,调度器会根据策略从队列中取出一个URL,并把它交给下载器进行下载。 下载器负责从网络上下载HTML页面,并把下载的数据返回给引擎。下载器可以使用多种网络协议(如HTTP、FTP等),也可以进行异步下载,从而提高下载效率。 爬虫中间件用于处理爬虫的输入和输出,可以对请求和响应进行增强或修改。例如,可以使用中间件对请求进行代理、重定向或增加请求头信息等操作。 下载器中间件用于处理下载器的输入和输出,可以对请求和响应进行增强或修改。例如,可以使用中间件对响应进行解压缩、修改响应头信息等操作。 项目管道用于对爬虫获取的数据进行处理和存储。可以使用管道对数据进行清洗、格式化、去重等操作,并将数据存储到数据库、文件或其他存储介质中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值