分布式
Hello World!
这个作者很懒,什么都没留下…
展开
-
分布式协同:解决分布式状态和数据一致性问题:一致性哈希
一致性哈希算法:背景:1. 分布式哈希表(DHT) 是 P2P网络 和 分布式存储中常见的一种技术 ,是哈希表的分布式扩展,每台机器只负责承载部分数据,如何通过哈希方式对数据进行 增删改查等数据操作的技术。而"一致性哈希" 就是DHT其中的一种实现方式。算法步骤:“一致性哈希”算法 将 (哈希数值空间) 按照(大小)组成一个首尾相接的环状序列。对于每台机器,可以根据其 (IP) 和 (端口号)经过 (哈希函数 )映射到 哈希数值空间内。每台机器就是环状序列的不同节点。注:假设 N 代表机器,原创 2020-12-28 09:53:10 · 432 阅读 · 0 评论 -
分布式调度:解决资源与请求者的分配问题
分布式调度:解决资源与请求者的分配问题:1. 单体调度:集中式调度器: • 红色的方块是集群资源信息,调度器拥有全部的集群资源信息(蓝色方块) 集中式调度器全局只有一个中央调度器,计算框架的资源申请全部提交给中央调度器来满足,所有的调度逻辑都由中央调度器来实现。 调度系统在高并发作业的情况下,容易出现性能瓶颈, 集中式调度器的实现就是 Hadoop MapReduce 的 JobTracker,实际的资源利用率只有 70% 左右,甚至更低。 在多个计算作业同时申请资源的时候,中央调原创 2020-11-07 22:54:10 · 1054 阅读 · 0 评论 -
分布式系统如何衡量,看这篇就够了
分布式系统的三围指标:1.性能:1.1吞吐量指标:(系统在一定时间内可以处理的任务数)1.1.1:QPS (Queries Per Second): 即每秒查询数,用于衡量一个系统每秒可以处理多少个任务数。 这个指标通常用于读操作,越高说明对读操作的支持越好。所以,我们在设计一个分布式系统的时候,如果应用主要是读操作,那么需要重点考虑如何提高 QPS,来支持高频的读操作。1.1.2:TPS(Transactions Per Second): 即事务数每秒,用于衡量一个系统每秒可以处理的事原创 2020-11-07 22:34:50 · 642 阅读 · 0 评论