分布式技术原理与算法解析
文章平均质量分 74
技术修行者
点滴技术感悟,记录人生成长。
展开
-
分布式系统中的网络分区问题
这篇文章主要讨论分布式系统中的网络分区问题,网络分区是指在分布式集群中,节点之间由于网络不通,导致集群中的节点形成不同的子集,子集中的节点可以相互通信,子集之间的网络是不通的。原创 2023-03-04 22:30:00 · 703 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day28
这篇文章主要讨论分布式系统中的故障恢复和常用的故障检测方法,包括固定心跳检测和根据历史心跳信息预测故障检测方法。原创 2023-03-03 22:30:00 · 567 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day27
这篇文章主要描述故障隔离,设计良好的故障隔离策略,可以提高系统的可用性,避免出现大规模故障,甚至瘫痪。常用的故障隔离策略包括线程级隔离、进程级隔离和资源隔离。原创 2023-03-02 22:30:00 · 363 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day26
这篇文章主要描述分布式系统中的流量控制,当有突发大流量进入时,如何控制流量对于保证系统高可靠非常重要。常见的流量控制策略包括漏桶策略和令牌桶策略。原创 2023-03-01 22:30:00 · 185 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day25
这篇文章主要讨论负载均衡及其常用策略。负载均衡是分布式系统中非常重要的技术,它包括请求负载均衡和数据负载均衡,通过负载均衡,可以有效提高系统的并发处理能力。原创 2023-02-28 22:30:00 · 307 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day24
这篇文章主要描述分布式数据缓存技术,它将常用数据存储到离用户近、离应用近的位置,以减少远程数据传输的延迟,提升系统性能。原创 2023-02-27 22:30:00 · 268 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day23
这篇文章主要关注分布式系统中的数据复制,它提高了系统的可用性和可靠性,保证业务正常运行。常见的数据复制方法包括同步复制技术、异步复制技术和半同步复制技术。原创 2023-02-26 22:30:00 · 439 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day22
这篇文章主要描述分布式数据存储系统中的数据分片方法,包括哈希方法、一致性哈希方法、带有限负载的一致性哈希方法以及带虚拟节点的一致性哈希方法。原创 2023-02-25 22:30:00 · 1630 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day21
分布式存储系统将用户存储的数据根据某种规则存储到不同机器上,当用户想要获取指定数据时,再按照规则到存储数据的机器中获取。数据生产者/消费者、数据索引和数据存储是分布式存储系统的三大要素。原创 2023-02-24 22:30:00 · 379 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day20
这篇文章主要描述分布式系统中经常讨论的CAP理论,它从一致性、可用性和分区容错性是分布式系统的三个特征,我们只能满足其中两个特征,对于分布式系统来说,根据不同的应用场景,可以是AP,也可以是CP。原创 2023-02-23 22:30:00 · 336 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day19
这篇文章主要描述分布式通信中常用的消息队列模式,引入消息队列,通过异步通信的方式,可以提升系统响应速度,实现系统组件之间解耦,文章还描述了RocketMQ的架构和组件。原创 2023-02-22 22:30:00 · 152 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day18
这篇文章主要描述分布式通信中的发布订阅模式,这是一种异步通信模式,它可以解耦消息的生产者和消费者,提高系统的稳定性。同时,文章也描述了Kafka的架构以及主题、分区和消费组。原创 2023-02-21 22:30:00 · 106 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day17
这篇文章主要描述分布式系统中非常重要的通信方式:远程过程调用,它可以让服务调用方像调用本地方法那样,去调用远程服务提供方所提供的服务,在这个过程中,服务调用方对于底层通信是无感知的。原创 2023-02-20 22:30:00 · 112 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day16
这篇文章主要描述分布式系统中的流水线计算模式,它来自于工业领域的流水线作业模式,将一个任务分为多个步骤执行,可以提高系统效率。文章描述了ETL流水线以及机器学习中常用的模型训练流水线。原创 2023-02-19 22:30:00 · 101 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day15
这篇文章主要描述Actor模型,Actor类似于一个封装了自己状态和行为的“黑盒”对象,Actor之间通过消息进行通信,解决了死锁、竞争等问题。原创 2023-02-18 22:30:00 · 85 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day14
这篇文章主要描述流式计算,它负责处理实时数据,一般适用于数据密集型应用,另外文章来探讨了Apache Storm相关的知识。原创 2023-02-17 22:30:00 · 75 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day13
这篇文章主要讲述分布式计算模式中用的MapReduce,它采用了分治的思想,将大问题,划分为小问题,对小问题并行求解,最后在合并解。原创 2023-02-16 22:30:00 · 66 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day12
这篇文章主要讲述一种新的分布式调度策略:共享状态调度,它包含多个调度器,每个调度器都拥有整个集群的全局资源状态信息。另外还比较了三种调度策略:单体策略、两层策略和共享状态策略。原创 2023-02-15 22:08:18 · 90 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day11
这篇文章继续讨论分布式架构中的调度算法,为了解决单体调度面临的问题,我们引入两层调度。我们会讨论两层调度的工作原理,两种使用了两层调度的解决方案:Apache Mesos和Hadoop YARN。原创 2023-02-14 21:59:03 · 101 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day10
这篇文章主要描述分布式系统中的单体调度机制,它是指一个集群中只有一个节点运行调度进程,并介绍Google Borg的单体调度设计思路。原创 2023-02-13 21:41:38 · 91 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day09
这篇文章主要介绍分布式系统中的非集中式结构,以及我们经常使用的三种基于非集中式架构的解决方案:Akka集群、Redis集群和Cassandra集群。原创 2023-02-12 21:31:47 · 74 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day08
这篇文章主要介绍分布式系统中的集中式结构,以及我们经常使用的三种基于集中式结构的解决方案:Google Borg、Kubernetes和Mesos。原创 2023-02-11 20:14:23 · 64 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day07
这篇文章主要讨论分布式系统中的分布式锁问题,包括了三种不同的分布式锁实现方式:基于数据库的分布式锁、基于缓存的分布式锁和基于ZooKeeper的分布式锁。原创 2023-02-10 23:26:27 · 89 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day06
这篇文章主要描述在分布式系统下如何实现事务处理,包括三种常见的实现事务的方法:基于XA协议的二阶段提交方法、三阶段提交方法和基于分布式消息的最终一致性方案。原创 2023-02-09 20:52:33 · 96 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day05
这篇文章主要讨论分布式共识,包括什么是分布式共识以及常用的三种分布式共识算法:PoW(工作量证明)、PoS(权益证明)和DPoS(委托权益证明)。原创 2023-02-08 19:09:32 · 126 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day04
这篇文章主要描述分布式技术中的选举算法,分布式选举是为选出一个主节点,由它来协调和管理其他节点,保证集群有序运行和节点间数据的一致性。涉及到的选举算法包括Bully算法、Raft算法和ZAB算法。原创 2023-02-07 21:25:42 · 78 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day03
这篇文章主要描述分布式互斥方法,包括什么是分布式互斥,分布式互斥地三种方法:集中式方法、分布式方法和令牌环方法。原创 2023-02-06 22:28:54 · 175 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day02
这篇文章主要描述分布式系统的发展历程和分布式系统的衡量指标。发展历程包括了单机模式、数据并行模式和任务并行模式。分布式系统的衡量指标包括性能、资源占用、可用性和可扩展性。原创 2023-02-05 21:39:02 · 107 阅读 · 0 评论 -
《分布式技术原理与算法解析》学习笔记Day01
这篇文章主要描述了分布式系统的四纵四横知识图谱。横向包括分布式资源池化、分布式通信、分布式数据存储与管理、分布式计算,纵向包括分布式协同、分布式调度、分布式追踪与高可用、分布式部署。原创 2023-02-04 22:26:43 · 105 阅读 · 0 评论