分布式技术原理
文章平均质量分 82
分布式技术原理,偏理论
A叶子叶
大数据平台、数据仓库、数据分析/挖掘、应用开发、深度学习、爬虫
展开
-
分布式技术原理(九):分布式体系结构之集中式结构
分布式体系结构之集中式结构云这个话题对我们来说已经非常熟悉了。可以说,云在我们的生活中无处不在,比如我们平时看的视频通常就是放在云上的。当我们要播放一段视频时,请求会先转发到云上,从云上下载数据到本地,然后播放。在这里,你肯定会疑惑,云上资源那么丰富吗,可以存放这么多东西吗?云上的资源确实丰富,因为它可以尽可能地把更多的服务器组织起来,作为一个统一的资源,为多个用户提供服务。这里的重点是,把多个服务器管理起来,作为一个统一的资源提供服务。而如何组织,就是分布式体系结构的范畴了。你会发现,很多场...原创 2020-05-25 22:54:18 · 7325 阅读 · 3 评论 -
分布式技术原理(八):分布式存储
目录分布式存储分布式系统设计原则CAP准则CAP策略选择分布式存储系统三要素三要素含义主流分布式数据存储系统数据分布及原则数据分布设计原则常见数据分布方法分布式数据复制(副本)同步复制异步复制半同步复制分布式存储分布式系统设计原则分布式数据存储系统的设计需要首先遵循CAP 理论,CAP 理论指导分布式系统的设计以保证系统的可用性、数据一致性等特征,比如电商系统中,保证用户可查询商品数据、保证不同地区访问不同服务器查询的数据是一致的等。.原创 2020-05-25 22:46:00 · 8865 阅读 · 1 评论 -
分布式技术原理(七):分布式计算
目录分布式计算什么是分而治之?分治法的原理MapReduce 工作原理MapReduce 实践应用总结分布式计算模式之StreamStream 工作原理分布式计算Hadoop 这个框架主要用于解决海量数据的计算问题。那么,它是如何做到海量数据计算的呢?你可能会想,既然是海量数据,规模这么大,那就分成多个进程,每个进程计算一部分,然后汇总一下结果,就可以提升运算速度了。其实,整个计算流程,我们可以很形象地用一个词来解释,就是“同流合污“,在分布式领域中就叫作 MR 模式原创 2020-05-25 22:42:00 · 9870 阅读 · 0 评论 -
分布式技术原理(六):分布式和人工智能
分布式和人工智能2016 年 3 月,Google AlphaGo 与围棋世界冠军李世石进行围棋人机大战,以 4 比 1 的总分获胜。至此,人工智能技术被推向了高潮。现在,人工智能已经广泛渗入到了我们的生活中,比如手机拍照美化、人脸识别、平安城市、自然语言处理、语音识别等。顾名思义,人工智能就是机器模拟人的思维,像人那样智能呗。目前,对人工智能的定义大多可划分为四类,即机器“像人一样思考”“像人一样行动”“理性地思考”和“理性地行动”。这里的行动,指的是采取行动或制定行动的决策。那人工智能是如何让机原创 2020-05-25 22:31:48 · 7218 阅读 · 0 评论 -
分布式技术原理(五):分布式事务
目录分布式事务基于数据库实现分布式锁基于缓存实现分布式锁基于 ZooKeeper 实现分布式锁分布式事务在单机多线程环境中,我们经常遇到多个线程访问同一个共享资源(这里需要注意的是:在很多地方,这种资源会称为临界资源,但在今天这篇文章中,我们统一称之为共享资源)的情况。为了维护数据的一致性,我们需要某种机制来保证只有满足某个条件的线程才能访问资源,不满足条件的线程只能等待,在下一轮竞争中重新满足条件时才能访问资源。这个机制指的是,为了实现分布式互斥,在某个地方做个标记,这个标记每原创 2020-05-25 22:29:16 · 5433 阅读 · 2 评论 -
分布式技术原理(四):分布式共识
目录分布式共识:存异求同PoWPoSDPoS分布式共识:存异求同其实,这个选主过程就是一个分布式共识问题,因为每个节点在选出主节点之前都可以认为自己会成为主节点,也就是说集群节点“存异”;而通过选举的过程选出主节点,让所有的节点都认可该主节点,这叫“求同”。由此可见,分布式共识的本质就是“存异求同”。所以,从本质上看分布式选举问题其实就是传统的分布式共识方法,主要是基于多数投票策略实现的。基于多数投票策略的分布式选举方法,如果用于分布式在线记账一致性问题中,那么记账权通常会.原创 2020-05-25 22:26:54 · 7285 阅读 · 0 评论 -
分布式技术原理(三):分布式选举
目录分布式选举长者为大:Bully 算法民主投票:Raft 算法具有优先级的民主投票:ZAB 算法分布式选举主节点在一个分布式集群中负责对其他节点的协调和管理,也就是说其他节点都必须听从主节点的安排。主节点的存在就可以保证其他节点的有序运行,以及数据库集群中的写入数据在每个节点上的一致性。这里的一致性是指,数据在每个集群节点中都是一样的,不存在不同的情况。当然,如果主故障了,集群就会天下大乱,就好比一个国家的皇帝驾崩了,国家大乱一样。比如,数据库集群中主节点故障后,可能导致每个节原创 2020-05-25 22:24:44 · 6077 阅读 · 0 评论 -
分布式技术原理(二):分布式互斥
目录分布式互斥霸道总裁:集中式算法民主协商:分布式算法轮值 CEO:令牌环算法分布式互斥分布式系统里,这种排他性的资源访问方式,叫作分布式互斥(Distributed Mutual Exclusion),而这种被互斥访问的共享资源就叫作临界资源(Critical Resource)。霸道总裁:集中式算法引入一个协调者程序,得到一个分布式互斥算法。每个程序在需要访问临界资源时,先给协调者发送一个请求。如果当前没有程序使用这个资源,协调者直接授权请求程序访问;否则,按照先来后到的原创 2020-05-25 22:20:54 · 5882 阅读 · 1 评论 -
分布式技术原理(一):分布式的三围
《分布式技术原理》根据极客时间的《分布式计算原理和算法》的收费课程整理得到,分享一起学习;按照业务的架构层次栈,自底向上按照资源、通信、数据与计算的维度,梳理出了 4 个技术层次:分布式资源池化、分布式通信、分布式数据存储与管理、分布式计算。这样的划分符合业务架构设计的一般规律,即“在一定资源上,进行一定通信,通过一定计算,完成一定数据的加工和处理,从而对外提供特定的服务”。另一方面,这样的划分也整合了零散的知识点,具有完备性。分布式技术的地图:分布式的三围首先,从分布式技术的起源可以看.原创 2020-05-25 18:38:03 · 5963 阅读 · 0 评论