自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 分布式协同:解决分布式状态和数据一致性问题:一致性哈希

一致性哈希算法:背景:1. 分布式哈希表(DHT) 是 P2P网络 和 分布式存储中常见的一种技术 ,是哈希表的分布式扩展,每台机器只负责承载部分数据,如何通过哈希方式对数据进行 增删改查等数据操作的技术。而"一致性哈希" 就是DHT其中的一种实现方式。算法步骤:“一致性哈希”算法 将 (哈希数值空间) 按照(大小)组成一个首尾相接的环状序列。对于每台机器,可以根据其 (IP) 和 (端口号)经过 (哈希函数 )映射到 哈希数值空间内。每台机器就是环状序列的不同节点。注:假设 N 代表机器,

2020-12-28 09:53:10 425

原创 分布式调度:解决资源与请求者的分配问题

分布式调度:解决资源与请求者的分配问题:1. 单体调度:集中式调度器: • 红色的方块是集群资源信息,调度器拥有全部的集群资源信息(蓝色方块) 集中式调度器全局只有一个中央调度器,计算框架的资源申请全部提交给中央调度器来满足,所有的调度逻辑都由中央调度器来实现。 调度系统在高并发作业的情况下,容易出现性能瓶颈, 集中式调度器的实现就是 Hadoop MapReduce 的 JobTracker,实际的资源利用率只有 70% 左右,甚至更低。 在多个计算作业同时申请资源的时候,中央调

2020-11-07 22:54:10 1043

原创 分布式系统如何衡量,看这篇就够了

分布式系统的三围指标:1.性能:1.1吞吐量指标:(系统在一定时间内可以处理的任务数)1.1.1:QPS (Queries Per Second): 即每秒查询数,用于衡量一个系统每秒可以处理多少个任务数。 这个指标通常用于读操作,越高说明对读操作的支持越好。所以,我们在设计一个分布式系统的时候,如果应用主要是读操作,那么需要重点考虑如何提高 QPS,来支持高频的读操作。1.1.2:TPS(Transactions Per Second): 即事务数每秒,用于衡量一个系统每秒可以处理的事

2020-11-07 22:34:50 636

原创 初学者对于大数据的看法

大数据 **大数据**在今天这个时代是一个比较火爆的词汇,我只是一个大一学生,我来说说自己对大数据的看法吧。半年前,我对*大数据*的看法很模糊,当然现在也不是很清楚, **大数据**你说大吧,*欧洲核子研究组织*中的对撞机中产生的数据估计是计算机一辈子也算不完的,你说数据吧,这个词在很久之前就诞生了,不知道**大数据**究竟有什么特殊之处能够在今天如此火爆。现在的我今天的我对于...

2018-07-29 02:01:31 5031

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除