分布式系统
文章平均质量分 63
KD_
这个作者很懒,什么都没留下…
展开
-
online schema change and create index
数据库online schema change原创 2022-08-05 17:05:42 · 433 阅读 · 1 评论 -
Raft协议的优化
https://blog.csdn.net/weixin_43705457/article/details/115014226https://blog.csdn.net/qq_35423190/article/details/108982230转载 2022-02-26 12:25:00 · 115 阅读 · 0 评论 -
分布式/并行SQL的执行调度
SQL语句的转换过程SQL语句 -》 抽象语法树 -》 逻辑算子树 -》 物理算子树(物理执行计划)物理执行计划的stage划分为什么要进行stage划分?对于分布式/并行SQL的执行,会将物理执行计划划分为若干stage,一个stage会使用多个线程/计算节点并行的执行计算Task,每个计算任务的执行逻辑是相同的,但是基于不同的数据split。多个计算任务能够并行执行,必须要保证其之间是没有依赖的,即每个计算任务完全基于自己的数据split即可完成计算。我们知道stage的划分是按照数据是否需要原创 2022-02-19 16:24:02 · 887 阅读 · 0 评论 -
深度比较Paxos和Raft
https://blog.csdn.net/zxpoiu/article/details/115524567转载 2022-02-09 17:39:05 · 131 阅读 · 0 评论 -
Raft协议论文及工程实现总结
文章目录Raft领导选举Timeout启动之后候选者行为跟随者行为领导选举结果领导选举限制日志复制(心跳)概述日志复制的特性领导者行为跟随者行为集群成员变化集群成员变化的问题解决方法:两阶段方法、共同一致共同一致解决方法的分析:本项目优化解决方法集群成员变更之后带来的问题:日志压缩(快照)生成快照安装快照线性一致性raft违反线性一致性保证raft的线性一致性github实现RaftRaft 通过选举一个高贵的领导人,然后给予他全部的管理复制日志的责任来实现一致性。领导人从客户端接收日志条目,把日志条目原创 2022-01-20 16:07:27 · 663 阅读 · 0 评论 -
Apache Sedona(GeoSpark) spatial join 源码解析
文章目录Apache Sedona(GeoSpark) Spatial JoinRange joinDistance join源码解析SedonSQLRegistrator.registerAll(sparkSession)JoinQueryDetectorplanSpatialJoinplanDistanceJoinTraitJoinQueryExecdoExecute1. 构造SpatialRDD2. doSpatialPartitioning3. spatialJoin4. extraConditio原创 2021-04-06 17:13:32 · 1249 阅读 · 0 评论 -
分布式事务外部一致性、隔离性和时间戳的理解
外部一致性之前一直不懂分布式事务中时间戳的作用,经过查找阅读资料之后,有了一点理解,在此记录。分布式事务中的时间戳的主要作用是保证分布式事务的“外部一致性”。外部一致性的理解可以参考:https://tyler-zx.blog.csdn.net/article/details/108915068对于一致性的理解有很多解释,在这里阐述一下我的理解:传统ACID的一致性:数据库从一个一致性的状态转移到另一个一致性的状态。这里的一致性表达的是数据库处于一种符合数据库约束,也符合用户预期的一种状态,其原创 2021-04-01 17:28:29 · 1178 阅读 · 0 评论 -
因果一致性在分布式系统(微信朋友圈)中的应用的理解
https://www.cnblogs.com/king0101/p/11908305.html上文中所描述的微信朋友圈评论同步问题,可看作多主复制数据库中的因果一致性问题。对于数据库中的某一条朋友圈(由唯一key标识),其value对应多条评论。朋友圈由多主复制数据库进行存储,四个数据中心中均存在朋友圈的主库,均提供写入功能。问题:假设用户A在数据中心1进行对朋友圈进行评论a,数据中心1将此条评论异步复制到数据中心2和数据中心3。当数据中心2接收到此评论后,用户B查看到评论a进行回复评论b...原创 2021-03-05 17:39:48 · 1097 阅读 · 0 评论 -
阿里云PolarDB及其共享存储PolarFS技术实现分析
阿里云PolarDB及其共享存储PolarFS技术实现分析(上)阿里云PolarDB及其共享存储PolarFS技术实现分析(下)转载 2021-02-22 17:52:10 · 263 阅读 · 0 评论 -
Paxos协议理解
Paxos协议要点Paxos协议中共有三种角色:Proposer、Acceptor、Learner,具体实现中一个进程可担当多个角色。Paxos协议的目的:针对同一主题,每个Proposer都可提出若干提案,所有的Acceptor和Learner必须从这些提案中一致的选定某个提案。某个提案被选定成功的定义:此提案被超过半数Acceptor 批准。Paxos的第一个Prepare阶段的目的是确定Proposer如何生成提案。这实际上涉及到Paxos协议的推导,可参考《从Paxos到Zo原创 2021-02-20 22:54:03 · 346 阅读 · 0 评论 -
HDFS 异常处理与恢复
https://www.cnblogs.com/mindwind/p/4833098.html转载 2021-02-20 13:31:10 · 403 阅读 · 1 评论 -
Spark与MapReduce的对比误区与真正优势
Spark与MapReduce对比误区经常听到有人说Spark基于内存计算,将中间结果保存在内存中,避免了磁盘IO的次数。我觉得这句话的表面意思都对,但是很多人并没有了解其真正的含义。知乎: https://www.zhihu.com/question/319306621.Spark是基于内存计算的,难道MapReduce不是基于内存计算的吗?什么是内存计算,如果是指把磁盘中的数据读取到内存中做计算的话,那么MapReduce肯定也是内存计算。Spark的特殊之处在于可以将RDD缓存到内存之中,下次原创 2021-01-06 14:02:14 · 944 阅读 · 2 评论 -
数据库并发写入问题-丢失更新与写入偏差
MVCChttps://blog.csdn.net/qq_41775852/article/details/104853909数据库中的MVCC多版本并发控制(快照隔离)可以避免事务并发时的脏读、不可重复读以及幻读的问题,但是却无法避免丢失更新以及写入偏差的问题。丢失更新和写入偏差丢失更新:两个事务并发读取同一记录,并在此基础上修改记录,并将其写回数据库,第二次写入的结果会覆盖第一次写入的结果,导致数据库状态不一致。(丢失更新不仅出现在数据库中,在应用程序多线程并发修改变量、分布式系统多主复制和原创 2020-12-29 15:48:57 · 2053 阅读 · 1 评论 -
分布式系统多副本复制的问题与解决方案
文章目录单主复制、多主复制和无主复制介绍单主复制的问题与解决方案读己之写单调读一致前缀读(因果倒置)多主复制和无主复制并发写入与因果写入并发写入与因果写入因果关系倒置解决方案并发写入冲突解决方案多主复制和无主复制的问题和解决方案多主复制并发写入冲突多主复制因果写入倒置无主复制的并发写入冲突无主复制的因果写入倒置总结单主复制、多主复制和无主复制介绍https://vonng.gitbooks.io/ddia-cn/content/ch5.htmlhttps://zhuanlan.zhihu.com/p/原创 2020-12-28 20:44:42 · 2116 阅读 · 1 评论 -
服务端高并发分布式架构演变
https://segmentfault.com/a/1190000018626163转载 2020-12-09 15:26:24 · 70 阅读 · 0 评论 -
数据库事务、分布式一致性和分布式事务
文章目录什么是事务事务(ACID)的特性对事务一致性的理解分布式一致性CAPBASE分布式事务本地事务柔性事务和刚性事务分布式一致性和分布式事务的理解一致性协议向量时钟NWR协议ZAB协议Gossip两阶段提交协议 (2PC)和三阶段提交协议 (3PC)raft协议和Paxos协议分布式事务的解决方案:XA(2PC)TCC事务补偿型方案Saga 事务最大努力通知型异步确保最终一致性本地消息表MQ ...原创 2020-03-23 15:24:13 · 1174 阅读 · 0 评论 -
分布式系统 一致性和共识
一致性和共识的区别一致性往往指分布式系统中多个副本对外呈现的数据的状态。共识则描述了分布式系统中多个节点之间,彼此对某个状态达成一致结果的过程。因此,一致性描述的是结果状态,共识则是一种手段。在分布式系统中,我们常说的一致性问题就是:对于同一个数据的多个副本之间,如何保持其对外表现的数据一致性。例如,研究客户端B怎样能读取到客户端A做的修改,然后两者之间的数据可以达成一致。在实践中,要保障系...原创 2020-03-21 01:53:44 · 1326 阅读 · 1 评论 -
分布式系统 逻辑时钟和向量时钟
概述分布式系统解决了传统单体架构的单点问题和性能容量问题,另一方面也带来了很多的问题,其中一个问题就是多节点的时间同步问题:不同机器上的物理时钟难以同步,导致无法区分在分布式系统中多个节点的事件时序。逻辑时钟什么是逻辑时钟逻辑时钟指的是分布式系统中用于区分事件的发生顺序的时间机制。 从某种意义上讲,现实世界中的物理时间其实是逻辑时钟的特例。为什么要有逻辑时钟时间是在现实生活中是很重要的...原创 2020-03-18 00:11:47 · 2406 阅读 · 0 评论