分布式技术原理与算法解析-学习笔记(二)分布式资源管理与负载调度

分布式体系结构之集中式结构

集中结构

由一台或多台服务器组成中央服务器，系统内的所有数据都存储在中央服务器中，系统内所有的业务也均先由中央服务器处理

多个节点服务器与中央服务器连接，并将自己的信息汇报给中央服务器，由中央服务器统一进行资源和任务调度

中央服务器根据这些信息，将任务下达给节点服务器；节点服务器执行任务，并将结果反馈给中央服务器.

最大特点：部署结构简单

1. Google Borg

• 一个集群：Cell
  • BorgMaster：Cell 里面的一个 Leader
  • Borglet：其他服务器为节点服务器或从服务器
• BorgMaster：
  • Borgmaster 主进程
    • 主进程处理客户端的 RPC 请求，比如任务的执行状态更新或者查询等
    • 同时，管理系统中所有实体的状态（比如，服务器、任务等），并负责和 Borglet 通信
  • scheduler 进程
    • 进程负责任务调度，为任务寻找一个合适的节点服务器执行
• Borglet

  是运行在每个节点机器的一个 agent，负责任务的拉起、停止、重启等，并管理和搜集本服务器资源，将任务的状态、服务器状态等信息上报给 BorgMaster

Borg 并不是第一个解决这些问题的系统，但却是少数能在这么大规模处理这些问题的同时，还能实现这样的弹性和完整性的系统之一

2. Kubernetes

Kubernetes 是 Google 开源的容器集群管理系统，是 Borg 的一个开源版本。

• Master 节点
  • API Server： 是所有 REST 命令的入口，负责处理 REST 的操作，确保它们生效，并执行相关业务逻辑。
  • Scheduler： 根据容器需要的资源以及当前 Worker 节点所在节点服务器的资源信息，自动为容器选择合适的节点服务器
  • Cluster State Store： 集群状态存储，默认采用 etcd
  • Control Manager： 用于执行大部分的集群层次的功能，执行生命周期功能，API 业务逻辑
• Worker 节点
  • kubelet: 用于通过命令行与 API Server 进行交互，根据接收到的请求对 Worker 节点进行操作
  • kube-proxy： 负责为容器（Pod）创建网络代理 / 负载平衡服务----Service

3. Mesos

分布式资源管理框架 Mesos ,分布式系统的内核。

Mesos+Marathon 支持的容器，主要包括 Docker 和 cgroups

Mesos 只负责底层资源的管理和分配，并 不涉及 存储、 任务调度等功能，因此 Mesos Master 对接的是 Spark、Hadoop、Marathon 等框架

• Mesos Master :收集和管理所有 Agent 所在服务器的资源和状态,对接 Spark、Hadoop 等框架
• Mesos Agent :负责任务的拉起、停止、重启,服务器的资源 (比如 CPU、内存等) 信息和状态

分析对比

分布式体系结构之非集中式结构

如何优化 Gossip 协议中的重复消息问题

Gossip 是一种谣言传播协议，每个节点周期性地从节点列表中选择 k 个节点，将本节点存储的信息传播出去，直到所有节点信息一致，即算法收敛了。

问题：
如果每次都是随机选择 k 个节点的话，势必会存在重复选择同样节点的可能，增加消息量

解决方案：
每个节点记录当前传输的消息且还未达到收敛的时候，已经发送给了哪些节点，然后每次选择时从没有发送过的节点列表中随机选择 k 个节点，直到所有节点均被传输或集群收敛为止

分布式调度架构之单体调度

单体调度设计

调度算法

• 可行性检查
• 评分
  • 最差匹配：将任务尽量分散到不同的机器上，导致每个机器都有少量的无法使用的剩余资源
  • 最佳匹配：把机器上的任务塞得越满越好，没有用户作业的机器直接放置大型任务，
    • 不利于有 突发负载 的应用
    • 对申请 少量 CPU 的批处理作业 也不友好

单体调度器虽然具有单点瓶颈或单点故障问题,但因为其具有全局资源视图和全局任务，简单易维护，被很多公司广泛采用

分布式调度架构之双层调度

两层调度

• 一层调度器只负责 资源 管理和分配
  • 中央调度器从整体上进行资源的管理与分配，将资源分配到第二层调度器
• 一层调度器负责 任务 与资源的匹配
  • 第二层调度器负责将资源与具体的任务配对，因此第二层调度可以有多个调度器，以支持不同的任务类型

Scheduler-1 表示第一层调度，负责收集和管理集群中的资源信息；
Scheduler-2 表示第二层调度，Scheduler-1 会将集群资源发送给 Scheduler-2，然后 Scheduler-2 根据任务的资源需求和 Scheduler-1 发送的资源信息进行任务匹配和调度；

特点

解决了单体架构中中央服务器单点瓶颈问题；
提升了调度效率，支持多种类型的任务
应用实例：Apache Mesos，Hadoop YARN

Mesos 架构

• Master节点：每个集群有且仅有一个Master节点，负责管理Slave节点，并对接上层框架
• Slave节点：想Master回报资源信息，并执行框架提交的任务
• 框架（Framework）：运行在Mesos上，是负责应用管理与调度的组件
  • Scheduler：从Master节点中获取到集群节点的信息
  • Executor：在Slave节点执行任务

调度形式

• Mesos Master 的 Scheduler 进程收集所有节点的空闲资源信息，并以 Resource Offer 的方式将空闲资源发送给注册的框架
• 框架的 Scheduler 接收到 Mesos 发送的资源后，进行任务调度与匹配，匹配成功后，将匹配结果下发给 Mesos Master，并由 Mesos Master 转发给相应节点的执行器执行任务

调度算法

• 最大最小公平算法
  • 兼顾公平的前提下，尽可能让更多人满意的资源分配算法
  • 每次迭代中资源均平均分配，如果还有剩余资源，就进入下一次迭代，一直到所有用户资源得到满足或集群资源分配完毕，迭代结束
• 主导资源公平算法
  • 在考虑用户公平性的前提下，还考虑了用户对不同资源类型的需求，以尽可能地合理分配资源

分布式调度架构之共享状态调度

定义

这种架构基本上沿袭了单体调度器的模式，通过将单体调度器分解为多个调度器，每个调度器都有全局的资源状态信息，从而实现最优的任务调度，提供了更好的可扩展性

特点

• 分布式结构
• 共享集群状态
• 乐观并发调度
• 调度形式类似数据库中的事务操作
• 优点：
  • 解决了单体调度架构中，中央服务器的单点瓶颈问题
  • 解决了两层调度架构中任务匹配无法达到全局最优的问题
  • 可扩展性强
• 缺点
  • 存在潜在的资源冲突
  • 实现复杂
• 应用实例Google Omega
  • Omega架构
    • 资源维护模块：记录资源状态信息；接受Scheduler的任务匹配结果 并选择合适的任务进行调度
    • 节点：向资源维护模块汇报资源信息
    • Scheduler：每个Scheduler都有Cell State副本；执行任务匹配算法
  • 调度形式
    • Scheduler 从资源维护模块获取到集群资源信息，执行任务匹配算法，并将任务匹配结果发送给资源匹配模块；
    • 资源匹配模块选择合适的任务进行调度
  • 使用场景 ：大规模集群
    

分布式事务与分布式锁相关问题