![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
文章平均质量分 91
小凯Alex
这个作者很懒,什么都没留下…
展开
-
JDK源码阅读计划(Day5) Collections
JDK11CollectionsCollection与Collectioons的区别我想很多面试题都会遇到最大的不同就是前者是这个接口,是List和Set这两个子接口的顶级接口。后者是个容器工具方法类。/* * Tuning parameters for algorithms - Many of the List algorithms have * two imple...原创 2020-04-28 15:05:34 · 169 阅读 · 0 评论 -
ElasticSearch&Lucene学习总结
ES集群架构搜索领域:基于luceneJson文档数据库: 相对于MongoDB读写性能更佳时序数据分析:如日志处理,监控数据存储,分析和数据化基本概念:节点(Node): 一个ES实例索引(Index): 逻辑概念,配置信息mapping和倒排索引,正排索引文件。索引可以分布在一台或者多台机器分片(Shard): 为了支持更大量的数据,索引一般会按照某个维度分成多个部分。为了可靠性...原创 2020-03-07 21:23:42 · 1329 阅读 · 0 评论 -
流处理系统(Flink, Kafka和Pravega)学习笔记
本文记录一下我比较感兴趣的实时流处理方面的知识,从计算Flink,到存储Pravega,再到消息中间件Kafka,理论知识四大方面学习。如有错误请在评论区指正。实时更新~理论知识三种语义At most Once接收者最多收到一次消息At Least Once发送者给接收者发送消息,如果一直收不到接收者的确诊消息,发送者会一直重发。Exactly Once对于一条消息,接...原创 2020-02-28 13:35:56 · 2329 阅读 · 0 评论 -
对分布式系统课程电商秒杀项目的再思考
项目源码: https://github.com/AlexanderChiuluvB/DistrubutedSystemProject1.性能角度1.1 从分布式锁的性能角度思考初始版本的解决超卖关键是: Mysql基于版本号的乐观锁机制Redis预存放各种商品的库存,实际场景是不可能的,比较淘宝有千千万万种商品对吧。实际中最多存放热点商品的数据,一开始Redis都是空的,要自己去Mysq...原创 2020-02-22 23:23:00 · 748 阅读 · 0 评论 -
大规模分布式存储系统——存储系统基本知识
硬件基础CPU架构经典的多CPU架构为对称多处理结构(SMP),即在一个计算机上汇集了一组处理器,他们之间对称工作,共享相同的物理内存与总线SMP架构主要是共享,系统中所有资源都是共享的,那么会导致竞争的时候性能下降。为了提高可扩展性,现在主流服务器架构一般为NUMANUMA——Non-Uniform Memory Access 非一致性存储访问IO 总线存储系统的性能瓶颈一般...原创 2019-11-24 20:48:16 · 1407 阅读 · 0 评论 -
分布式文件与分布式存储系统学习总结(持续更新)
Linux文件系统inode文件存储在硬盘上,硬盘的最小存储单位叫做扇区,每个扇区会存储512byte操作系统在读取硬盘的时候,不会一个个扇区读取,而是会一次性连续读取多个扇区,多个扇区组成一个block。也就是说读取硬盘的时候是按照块来读的。块通常是8个sector组成一个block。文件数据都存储在block中,所以我们还必须要找到一个地方存储文件的metadata,如文件的创建日期...原创 2019-11-23 00:32:03 · 1499 阅读 · 0 评论 -
Chandy-Lamport分布式快照学习记录和Flink与实现分布式快照的机制
Snapshot Algorithm分布式快照算法是拿来干嘛的?在缺乏全局时钟或者全局时钟不可靠的分布式系统确定全局状态A snapshot algorithm is used to create a consistent snapshot of the global state of a distributed system. Due to the lack of globally sh...原创 2019-11-13 18:32:21 · 744 阅读 · 0 评论 -
ElasticSearch为啥那么快?总结一下
思考问题:为什么搜索是近实时的?为什么文档的CRUD是实时的?下图是云上一个集群集群中有多个节点索引可以跨节点组成在一个索引下,存储着分片,分片实际上是Lucene Index.Shard分片里面存储着segment,可以看成是Lucene内部的mini-index那么segment有啥呢?Inverted Index主要包括两部分:倒排索引1.一个有序的数...原创 2019-11-11 23:41:12 · 1885 阅读 · 0 评论 -
Pravega入门--分布式流批统一存储
Flink怎么实现流批统一?提供三层API可以用不同级别的抽象来开发流/批统一通过Table API和SQL来实现流批统一什么是Pravega?首先我们来探讨,为什么需要Pravega?用来实现流批统一的分布式流存储框架.Pravega设计宗旨是成为流的实时存储解决方案.应用程序把数据持久化存储到Pravega中,然后Pravega的Stream可以有无限制的数量并且持久化存储...原创 2019-11-07 22:26:49 · 1641 阅读 · 0 评论 -
MIT6.824 Primary-Backup Replication论文导读
论文原文背景主从备份是实现可容错服务器的一种常用解决方案,在开启主动备份的系统中,备份服务器的状态需要时刻与主服务器保持一致,这样当主服务器失效的时候,备份服务器就能够立刻接管.实现主备间的状态同步方法:状态转移(State transfer)主服务器把所有状态变化都传给备份服务器,但是同步IO/内存要传输的数据量会比较大备份状态机(Replicated State Machine...原创 2019-10-03 20:01:14 · 420 阅读 · 0 评论 -
MIT6.824 Google File System论文学习
论文阅读场景引入为什么要设计这么一个系统?组件故障是常态不是异常.因为集群中包含成百上千廉价的机器,很容易导致各种问题导致数据丢失或机子不可用.因此持续监控,错误侦测,故障容忍和自动恢复必须全面覆盖整个系统.要处理的文件非常大,如果分成数十亿个小文件处理,会对文件索引带来非常大的挑战大部分文件都是在append新数据,不存在随机写数据,那么如何在append中保证原子性以及对其做性能优...原创 2019-09-22 15:38:24 · 303 阅读 · 0 评论 -
Raft分布式一致性算法学习资料
Learning MaterialA website that contains the visualization, implementation and courses materialsa simple visualization of raft(friendly to newcomer)Raft PaperRaft Paper Chinese versionnotes on Ra...原创 2019-09-12 20:35:24 · 962 阅读 · 1 评论 -
MIT-6.824 MapReduce 学习记录 + Lab1
Part1MapReduce论文学习Map操作:处理一个Key/Value对,生成许多个中间的key/value键值对结果Reduce操作:对map生成的所有键值对,相同的key的作合并MapReduce是一种编程范式,能够使得大规模的并行化计算成为可能。同时,这也使得“再次执行”功能作为初级的容错机制。这篇论文主要贡献是通过简单的接口来实现自动的并行化和大规模的分布式计算。编程模型...原创 2019-08-12 00:08:26 · 443 阅读 · 0 评论