A. 系统架构概要 --- 分布式系统

A. 系统架构概要 — 分布式系统

概述

• 常见场景
  • 脑裂问题
  • 需要人工干预场景的灾备切换
  • 有问题的小组成员算法

理论基础

基础算法

• 一致性哈希
• 布隆过滤器
• SkipList
• LSM树
  • MemTable
  • Immutable MemTable
  • SSTable(Sorted String Table)
    • 有序键值对集合，是LSM树组在磁盘中的数据结构。为了加快SSTable的读取，可以通过建立key的索引以及布隆过滤器来加快key的查找。
    • Compact策略
      • size-tiered 策略
      • leveled策略
• Merkle哈希树
• Snappy与LZSS算法
• Cuckoo哈希
• Gossip协议

任务调度

分布式协调系统

• Chubby
• Zookeeper

分布式通信

• RPC
  • gRPC
  • Thrift
• 消息队列
  • Kafka

大数据存储

• 分布式文件系统
  • GFS
    • HDFS
• 内存KV数据库
  • Redis
  • Memcache
• 列式数据库
  • HBase
• 文档数据库
  • MongoDB

数据处理