分布式理论与技术
文章平均质量分 93
分布式的体系常见的思想和算法,分布式涌现的技术和解决方案。分布式架构体系往往起到1+1>2的效用和稳定性。
lxlmycsdnfree
脑科学爱好者,物理爱好者,计算机从业者
展开
-
软件定义存储
表3-6中描述了存储虚拟化与软件定义的存储之间的异同。因此,软件定义存储中的控制层通常提供如::系统配置、自动化、自服务、管控中心等服务,而在数据层则暴露给应用不同类型的存储服务,如对象存储、HDFS、文件或块存储。需要指出的是无论是安全还是M&O,它们整体的发展趋势都是朝着大数据、快数据、流数据的方向发展,相关系统的体系架构也一定是朝着分布式、并行式的云计算架构方向前进,这其中对网络(负责数据的迁移)、计算(负责通过对数据的计算、分析得出信息与智能)以及存储(负责数据最终的存放与管理)具有天然的需求。原创 2024-01-10 11:39:57 · 1075 阅读 · 0 评论 -
深度解析 | 什么是超融合数据中心网络?
从上一节来看,为了满足AI时代的数据高效处理诉求、应对分布式架构挑战,0丢包、低时延、高吞吐成为下一代数据中心网络的三个核心指标。这三个核心指标是互相影响,有跷跷板效应,同时达到最优有很大的挑战。三个核心指标相互影响同时满足0丢包、低时延、高吞吐,背后的核心技术是拥塞控制算法。通用的无损网络的拥塞控制算法DCQCN(Data Center Quantized Congestion Notification),需要网卡和网络进行协作,每个节点需要配置数十个参数,全网的参数组合达到几十万;原创 2023-12-27 11:20:32 · 1107 阅读 · 0 评论 -
分布式数据(文件)存储
在分布式存储里面,比较常见的有kafka,Hbase,HDFS,fastDFS等,这里面涉及到文件的分布式存储以及数据的分布式存储。分布式存储的背景:就是将数据文件分散的存储到分布式集群的每一个节点,提升了存储的容量(大数据化);同时尽量凸显分布式的检索能力。分布式存储的原理:分层化的hash映射、数据组织的数据摘要以及块数据的叶子索引结构;这几种数据结构相结合的方式提供快速检索的能力和存储结构。原创 2022-11-12 20:11:03 · 7389 阅读 · 0 评论 -
数据一致性问题(分布式)
很简单我们举一个例子,一个事务在实行写操作,但是只是到缓存或者没有完全的commit,另外一个事务去读,读回来是1,是没有提交的数据,马上再去读那么就是commit之后的2.所以这就有。而且集群的点越多,排队时间就久,这就是完全失去意义,也是矛盾的。上面说了事务的事情,事务是一堆的step集合,他们之间要做到隔离,完全隔离又不能实用,不完全隔离之间总是在某一个step上出现问题,导致不一致性的问题。2.读已提交:就是读一定要是事务提交之后,就是读的时候,要是有写事务,会被锁定,等提交之后,再去执行读事务。.原创 2022-08-28 16:01:24 · 1624 阅读 · 0 评论 -
【Sidecar 架构模式】分享
如果你最近经常看一些技术型的文章,可能会看到这个技术名词:Sidecar 模式。中文译名为:挎斗模式。这个名字为直译,挎斗就是这样的一种摩托车:如果理解了这种模式,就会明白这个名字其实取得特别好。Sidecar 模式就是指在原来的业务逻辑上再新加一个抽象层。如果一个抽象层不够,那来两个。这种模式也不是近些年新发明的,我们可以理解 Nginx 的反向代理其实也算一种 sidecar 模式。只是近些年,随着微服务和容器化在实践中越来越多,这种模式的使用范围也更广了。...转载 2022-08-11 15:25:18 · 838 阅读 · 0 评论 -
Raft算法(zookeeper核心算法)
转载地址:https://www.cnblogs.com/mindwind/p/5231986.htmlLeslie Lamport 在三十多年前发表的论文《拜占庭将军问题》(参考[1])。拜占庭位于如今的土耳其的伊斯坦布尔,是东罗马帝国的首都。由于当时拜占庭罗马帝国国土辽阔,为了防御目的,因此每个军队都分隔很远,将军与将军之间只能靠信差传消息。在战争的时候,拜占庭军队内所有将军转载 2018-01-05 20:03:21 · 9499 阅读 · 1 评论 -
raft算法与paxos算法相比有什么优势,使用场景有什么差异?
Raft协议比paxos的优点是 容易理解,容易实现。它强化了leader的地位,把整个协议可以清楚的分割成两个部分,并利用日志的连续性做了一些简化:(1)Leader在时。由Leader向Follower同步日志(2)Leader挂掉了,选一个新Leader,Leader选举算法。但是本质上来说,它容易的地方在于流程清晰,描述更清晰,关键之处都给出了伪代码级别的描述,可以直接用于实现,而pa原创 2018-01-05 20:29:33 · 2528 阅读 · 0 评论