第三章分布式通信

1、分布式通信的概念？
主要研究分布式系统中，不同构件之间信息交换的机制：远程过程调用、消息队列、多播机制。
2、远程过程调用是什么？
就是容许进程像调用本地进程一样地调用别的进程的程序。
3、远程过程调用函数需要？
你要给所有函数一个唯一的id，建立映射表（哈希表）一般放在服务注册中心保存。在这个过程中需要进行序列化和反序列化，也就是将数据结构和对象转化为二进制以及将二进制转化为数据结构和对象
4、消息队列


这里ptp是基于队列的，按照先进先出的模式。
pub-sub是基于主题的，就像我发一些消息到公众号，你可以随机选择订阅。
5、多播机制
点对点：一个发送一个接受方
广播：一个发送给所有接受方
多播：一个发送方多个接受方
6、应用层多播协议，gossip协议
满足应用层多播协议要求：低负载、高可靠性和高可扩展性。
就是类似病毒的传播，一个节点随机选择一些节点发送，这些节点在随机选择一些节点发送，类似传染，扇形发散出去。
7、分布式集群管理
1、静态资源划分方法：就是将每一个计算部分都分配固定的硬件资源。
优点：就是简单
缺点：资源整体利用率太差，有的饿死，有的资源闲置
2、独立集群资源管理系统
将所有可用资源作为一个整体进行管理，对其他所有统一的资源调度
优势：
对资源进行动态分配弥补上面两个缺陷。
所有资源对所有任务可用。
支持多类型计算框架和多版本计算框架
3、分布式集群资源管理三要素：
资源组织模型：就是首先你得把资源能管理起来，不然怎么分配
调度策略：管理好资源就得将他们分配出去了
任务组织模型：你还得管理好计算框架那边（也就是这里说的任务）
8、分布式集群管理的通用框架：
通用调度器：就是负责管理总体资源和分配资源的（也就是调度策略）
节点管理器：就是主机上的“管理员”，向主机汇报本机资源使用情况，并将主机分配的任务放到容器中去。
9、一个合理的资源管理和调度策略应该考虑的问题
1、资源和工作负载异质性：就是硬件差别大，计算的任务要求差异大
（内部）待分配的硬件机器配置差异大，我进行资源调度时候应该考虑
（外部）需要服务的工作性质差异大，有的要求实时性高有的要求准确
2、数据局部性：数据不能分配到所有硬件资源里
数据局部性分为三种情况：
节点局部性：计算任务还未分配，直接丢给需要计算的节点即可
机架局部性：在同一台机架上，都是计算任务和数据在不同节点。
全局局部性：计算任务和数据在不同节点上。
3、面对多任务多用户的情况下采用何种任务调度策略：抢占式调度、非抢占式调度
抢占式调度：面对资源有限的情况下，可以抢占了优先级低的资源分配给优先级高的。
非抢占调度：面对资源有限的情况下，不抢优先级低的资源。
4、资源分配粒度
（1）作业级：全给或者不给
（2）任务级别：增量，一点点给，对应作业的任务，先让部分任务启动，之后有资源了再继续分配。
（3）资源存备策略：就是作业需要一定量的资源才能启动，这时候就像给他这部分的资源。
5、死锁和饿死
（1）饿死：就是有些任务始终得不到他需要的能运行最少资源量，就是跑不起来。
（2）死锁：两个资源互相等待对方释放资源。
6、资源隔离策略
（1）当前资源管理系统将资源（cpu、内存、网络带宽和I/O设备）都封装再容器中，这时一定要保证容器间是相互隔离的。
10、三种资源管理调度的范式：
1、集中式调度器：只有一个全局中央调度器。又可以分为单路径调度器和多路径调度器
（1）单路径调度器：对所有类型的任务计算出任务优先级，严格按照优先级这一调度策略进行顺序调度。无并发性
（2）多路径调度器：针对不同任务有不同的调度策略，类似swich-case，通过多线程有一定的并发性。
2、两级调度器：就是分为两级呗：中央调度器、框架调度器。
（1）中央调度器：可以观察到所有计算框架的状态，以差不多的分配合理性粗粒度的分给各个框架。
（2）框架调度器：在框架级别，进行细粒度资源分配。
（3）优点：框架级别，并发性 缺点：由于中央调度器没有并发，无严格并发。
3、状态共享调度器：所框架级别都可以看见所有人的状态，互相竞争抢资源。
（1）缺点：被抢的框架可能需要重新计算。
4、弱化中央加强框架的能力；不同的框架适合不同的应用场景。