前言
2019年,做大数据的开发已经6年了,这期间分布式系统的知识学习了不少,但基本都是来源于项目需要而零敲碎打,没有系统性的融会贯通提纲挈领,在一件小事的触动之下,决定将分布式系统做一次系统性的学习。
网上搜索“如何系统性的学习分布式系统”,得到的答案除了知识点过于零散的,剩下就是不适合我的实际情况的,主要因为我没有学习过算法,对于很多复杂的算法理解起来过于困难,而且在工程实践中找不到实际的应用,总感觉是屠龙之技。
因此决定自己列一个提纲,梳理一下分布式系统的知识,着重分析一些比较常用的开源软件中的实现原理,注重工程实践,减少理论研究,以设计思路为研究对象,不过分纠结于代码的实现细节,便于自己的学习,也希望帮助他人。
具体学习路线
学习一项技术,思路应该是看它解决了什么问题,为了解决这个问题,它又具有哪些特性,这些特性又分别如何实现。按照这个思路,准备了以下学习路线。
分布式系统解决什么问题就不过多解释了,无非是单一的节点无法满足业务需求,需要多节点群智协同。
一个多节点群智协同系统,应该具备以下特性:
一致性。分布式系统应该具有一个一致性模型,该模型是系统对于客户端的承诺,在一致性模型中,客户端如果遵循一定的规则,那么就可以得到该模型承诺的结果。
共识。分布式系统具备达到共识的能力。(计划介绍一些共识算法,例如raft)
扩展性。(计划介绍一些提高系统扩展性的东西,比如一致性hash)
容错性。(可能会集中讨论下容错机制)
分布式系统同时也具有软件系统中的其他特性,可能会介绍一下无锁消息队列、SIMD指令、rpc之类的东西。
介绍一下如何验证分布式系统设计的正确性。(TLA+)
这应该会是一个持续更新的路线图,同时也欢迎大家的意见和建议。