- 博客(4)
- 收藏
- 关注
RSS订阅原创 分布式协同：解决分布式状态和数据一致性问题:一致性哈希
一致性哈希算法：背景：1. 分布式哈希表（DHT） 是 P2P网络 和 分布式存储中常见的一种技术 ，是哈希表的分布式扩展，每台机器只负责承载部分数据，如何通过哈希方式对数据进行 增删改查等数据操作的技术。而"一致性哈希" 就是DHT其中的一种实现方式。算法步骤：“一致性哈希”算法 将 （哈希数值空间） 按照（大小）组成一个首尾相接的环状序列。对于每台机器，可以根据其 （IP） 和 （端口号）经过 （哈希函数 ）映射到 哈希数值空间内。每台机器就是环状序列的不同节点。注：假设 N 代表机器，
2020-12-28 09:53:10
425
原创 分布式调度：解决资源与请求者的分配问题
分布式调度：解决资源与请求者的分配问题：1. 单体调度：集中式调度器： • 红色的方块是集群资源信息，调度器拥有全部的集群资源信息（蓝色方块） 集中式调度器全局只有一个中央调度器，计算框架的资源申请全部提交给中央调度器来满足，所有的调度逻辑都由中央调度器来实现。 调度系统在高并发作业的情况下，容易出现性能瓶颈， 集中式调度器的实现就是 Hadoop MapReduce 的 JobTracker，实际的资源利用率只有 70% 左右，甚至更低。 在多个计算作业同时申请资源的时候，中央调
2020-11-07 22:54:10
1043
原创 分布式系统如何衡量，看这篇就够了
分布式系统的三围指标：1.性能：1.1吞吐量指标：（系统在一定时间内可以处理的任务数）1.1.1：QPS （Queries Per Second）： 即每秒查询数，用于衡量一个系统每秒可以处理多少个任务数。 这个指标通常用于读操作，越高说明对读操作的支持越好。所以，我们在设计一个分布式系统的时候，如果应用主要是读操作，那么需要重点考虑如何提高 QPS，来支持高频的读操作。1.1.2：TPS（Transactions Per Second）: 即事务数每秒，用于衡量一个系统每秒可以处理的事
2020-11-07 22:34:50
636
原创 初学者对于大数据的看法
大数据 **大数据**在今天这个时代是一个比较火爆的词汇，我只是一个大一学生，我来说说自己对大数据的看法吧。半年前，我对*大数据*的看法很模糊，当然现在也不是很清楚， **大数据**你说大吧，*欧洲核子研究组织*中的对撞机中产生的数据估计是计算机一辈子也算不完的，你说数据吧，这个词在很久之前就诞生了，不知道**大数据**究竟有什么特殊之处能够在今天如此火爆。现在的我今天的我对于...
2018-07-29 02:01:31
5031
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人