- 博客(4)
- 收藏
- 关注
原创 分布式协同:解决分布式状态和数据一致性问题:一致性哈希
一致性哈希算法:背景:1. 分布式哈希表(DHT) 是 P2P网络 和 分布式存储中常见的一种技术 ,是哈希表的分布式扩展,每台机器只负责承载部分数据,如何通过哈希方式对数据进行 增删改查等数据操作的技术。而"一致性哈希" 就是DHT其中的一种实现方式。算法步骤:“一致性哈希”算法 将 (哈希数值空间) 按照(大小)组成一个首尾相接的环状序列。对于每台机器,可以根据其 (IP) 和 (端口号)经过 (哈希函数 )映射到 哈希数值空间内。每台机器就是环状序列的不同节点。注:假设 N 代表机器,
2020-12-28 09:53:10 430
原创 分布式调度:解决资源与请求者的分配问题
分布式调度:解决资源与请求者的分配问题:1. 单体调度:集中式调度器: • 红色的方块是集群资源信息,调度器拥有全部的集群资源信息(蓝色方块) 集中式调度器全局只有一个中央调度器,计算框架的资源申请全部提交给中央调度器来满足,所有的调度逻辑都由中央调度器来实现。 调度系统在高并发作业的情况下,容易出现性能瓶颈, 集中式调度器的实现就是 Hadoop MapReduce 的 JobTracker,实际的资源利用率只有 70% 左右,甚至更低。 在多个计算作业同时申请资源的时候,中央调
2020-11-07 22:54:10 1053
原创 分布式系统如何衡量,看这篇就够了
分布式系统的三围指标:1.性能:1.1吞吐量指标:(系统在一定时间内可以处理的任务数)1.1.1:QPS (Queries Per Second): 即每秒查询数,用于衡量一个系统每秒可以处理多少个任务数。 这个指标通常用于读操作,越高说明对读操作的支持越好。所以,我们在设计一个分布式系统的时候,如果应用主要是读操作,那么需要重点考虑如何提高 QPS,来支持高频的读操作。1.1.2:TPS(Transactions Per Second): 即事务数每秒,用于衡量一个系统每秒可以处理的事
2020-11-07 22:34:50 640
原创 初学者对于大数据的看法
大数据 **大数据**在今天这个时代是一个比较火爆的词汇,我只是一个大一学生,我来说说自己对大数据的看法吧。半年前,我对*大数据*的看法很模糊,当然现在也不是很清楚, **大数据**你说大吧,*欧洲核子研究组织*中的对撞机中产生的数据估计是计算机一辈子也算不完的,你说数据吧,这个词在很久之前就诞生了,不知道**大数据**究竟有什么特殊之处能够在今天如此火爆。现在的我今天的我对于...
2018-07-29 02:01:31 5032
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人