- 博客(6)
- 收藏
- 关注
RSS订阅原创 大规模分布式存储系统——存储系统基本知识
硬件基础CPU架构经典的多CPU架构为对称多处理结构(SMP)，即在一个计算机上汇集了一组处理器，他们之间对称工作，共享相同的物理内存与总线SMP架构主要是共享，系统中所有资源都是共享的，那么会导致竞争的时候性能下降。为了提高可扩展性，现在主流服务器架构一般为NUMANUMA——Non-Uniform Memory Access 非一致性存储访问IO 总线存储系统的性能瓶颈一般...
2019-11-24 20:48:16
1443
原创 分布式文件与分布式存储系统学习总结(持续更新)
Linux文件系统inode文件存储在硬盘上，硬盘的最小存储单位叫做扇区，每个扇区会存储512byte操作系统在读取硬盘的时候，不会一个个扇区读取，而是会一次性连续读取多个扇区，多个扇区组成一个block。也就是说读取硬盘的时候是按照块来读的。块通常是8个sector组成一个block。文件数据都存储在block中，所以我们还必须要找到一个地方存储文件的metadata，如文件的创建日期...
2019-11-23 00:32:03
1532
原创 Chandy-Lamport分布式快照学习记录和Flink与实现分布式快照的机制
Snapshot Algorithm分布式快照算法是拿来干嘛的？在缺乏全局时钟或者全局时钟不可靠的分布式系统确定全局状态A snapshot algorithm is used to create a consistent snapshot of the global state of a distributed system. Due to the lack of globally sh...
2019-11-13 18:32:21
775
原创 ElasticSearch为啥那么快？总结一下
思考问题:为什么搜索是近实时的？为什么文档的CRUD是实时的？下图是云上一个集群集群中有多个节点索引可以跨节点组成在一个索引下，存储着分片，分片实际上是Lucene Index.Shard分片里面存储着segment，可以看成是Lucene内部的mini-index那么segment有啥呢？Inverted Index主要包括两部分：倒排索引1.一个有序的数...
2019-11-11 23:41:12
1913
原创 Pravega入门－－分布式流批统一存储
Flink怎么实现流批统一？提供三层API可以用不同级别的抽象来开发流/批统一通过Table API和SQL来实现流批统一什么是Pravega?首先我们来探讨，为什么需要Pravega?用来实现流批统一的分布式流存储框架．Pravega设计宗旨是成为流的实时存储解决方案．应用程序把数据持久化存储到Pravega中，然后Pravega的Stream可以有无限制的数量并且持久化存储...
2019-11-07 22:26:49
1669
原创 云原生公开课笔记-----Linux虚拟化网络,Docker网络模型与K8s网络模型介绍
约法三章:任意Pod之间可以直接通信,无需经过显式使用NAT来接收数据和地址的转换node和pod之间可以直接通信.无需使用明显地址转换pod的私有ip(自己看到自己的ip)和别人看到它所用的ip是一样的,中间不会经过转换四大目标:搞清楚外部世界和service之间如何通信?service如何与pod通讯?pod和pod之间调用怎么做到通信?pod内部容器之间的通信?容...
2019-11-04 22:54:05
241
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人