levelDB,rocksDB,tikv架构设计

LevelDB是Google开源的一个高性能的键值存储引擎，它的设计目标是为读多写少的场景提供高效的数据存储和管理，具有简单、易用、高效等优点。下面是LevelDB的架构设计：

1. 数据存储结构

LevelDB采用的是LSM树（Log-Structured Merge Tree）的数据存储结构，它将数据分为多个层级，每一层级都有一个大小限制，数据按照键的顺序依次存储。数据在写入时，先写入内存中的Memtable，当Memtable达到一定大小时，就会被写入磁盘中的SSTable（Sorted String Table）。当SSTable达到一定数量或大小时，就会被合并成更大的SSTable，这个过程称为Compaction。

1. 内存管理

LevelDB采用的是Write Buffer和Memtable的方式来管理内存。Write Buffer是一个缓冲区，用于保存写入数据的操作，在Write Buffer中，数据是按照写入顺序存储的。当Write Buffer的大小达到一定值时，LevelDB会将其转换为Memtable，Memtable是一个有序的数据结构，数据按照键的顺序存储。当Memtable的大小达到一定值时，LevelDB会将其持久化到磁盘中，并创建一个新的Memtable。

1. 文件管理

LevelDB采用的是类似Linux文件系统的方式来管理磁盘上的文件。每个SSTable文件由多个数据块（Block）组成，每个数据块的大小可以配置，数据块中的数据是按照键的顺序存储的。每个数据块都包括一个索引块（Index Block），用于快速查找指定键的位置。

1. 并发控制

LevelDB采用的是多版本并发控制（MVCC）的方式来保证并发访问的正确性。在读取数据时，LevelDB会将Memtable和SSTable中的多个版本数据进行合并，取出最新的版本数据。在写入数据时，LevelDB会使用单线程的方式进行写入操作，保证写入的顺序和正确性。

1. 日志管理

LevelDB采用的是WAL（Write-Ahead Logging）的方式来管理数据的写入。在写入数据时，先将操作写入日志中，再将数据写入Memtable和SSTable中。当系统发生异常时，可以通过日志来进行数据恢复。

总之，LevelDB采用的是简单、高效、易用的设计思路，结合LSM树、MVCC等技术手段，提供了高性能、可靠的数据存储和管理能力。

RocksDB是Facebook基于LevelDB改进的高性能键值存储引擎，它的设计目标是为读写混合的场景提供高效的数据存储和管理，同时支持多种数据模型（如列族存储、时间序列存储等），具有高性能、灵活、可靠等优点。下面是RocksDB的架构设计：

1. 数据存储结构

RocksDB采用的仍然是LSM树的数据存储结构，但是与LevelDB不同的是，RocksDB支持多个列族（Column Family），每个列族都有一个单独的LSM树，数据按照键值和列族进行存储。这样，就可以实现不同的数据模型，提高查询效率。

1. 内存管理

RocksDB采用了多种内存管理策略，包括Write Buffer、Block Cache和Memtable。Write Buffer与LevelDB中的Write Buffer类似，用于保存写入数据的操作。Block Cache用于缓存磁盘上的数据块，以提高读取性能。Memtable同样是一个有序的数据结构，用于缓存写入的数据，但是RocksDB支持多种Memtable类型，如SkipList、HashTable等，用户可以根据自己的需求进行选择。

1. 文件管理

RocksDB与LevelDB类似，采用类似Linux文件系统的方式来管理磁盘上的文件。每个SSTable文件由多个数据块（Block）组成，每个数据块的大小可以配置，数据块中的数据是按照键的顺序存储的。每个数据块都包括一个索引块（Index Block），用于快速查找指定键的位置。

1. 并发控制

RocksDB采用的是类似LevelDB的多版本并发控制（MVCC）的方式来保证并发访问的正确性。不同的是，RocksDB支持读写分离，在读取数据时，可以利用多个线程并发读取不同列族的数据；在写入数据时，RocksDB采用多线程的方式进行写入操作，以提高写入性能。

1. 日志管理

RocksDB同样采用WAL（Write-Ahead Logging）的方式来管理数据的写入。在写入数据时，先将操作写入日志中，再将数据写入Memtable和SSTable中。当系统发生异常时，可以通过日志来进行数据恢复。

总之，RocksDB在继承了LevelDB的优点的同时，进行了更加灵活的优化，支持多种数据模型、内存管理策略和并发控制方式，提供了高性能、灵活、可靠的数据存储和管理能力。

TiKV是一个分布式键值存储系统，它的设计灵感来自Google的Spanner和Percolator。它是TiDB生态系统的一部分，被用于存储数据并提供事务性的支持。下面是TiKV的架构设计：

1. 分布式存储引擎：TiKV使用RocksDB作为其底层存储引擎，它支持持久化、高效的读写和快速的范围查询。
2. 分布式事务管理：TiKV使用Raft协议来实现分布式事务管理，确保数据的强一致性和可靠性。在TiKV中，每个节点都是一个Raft状态机，节点之间通过Raft协议进行通信和同步数据。
3. 数据分片和负载均衡：TiKV将数据分片存储在多个节点中，每个节点存储一部分数据。为了实现负载均衡，TiKV使用PD（Placement Driver）来管理数据分片和节点状态。PD根据集群的状态信息和负载情况，动态调整数据分片的分布，保证集群的可用性和性能。
4. 分布式事务协调器：TiKV使用TiDB来协调分布式事务。当TiDB收到一个事务请求时，它将请求分解成多个子请求，将这些子请求发送到TiKV节点执行，并根据结果进行协调。
5. 多版本并发控制（MVCC）：TiKV使用MVCC来实现并发控制，避免读写冲突。在MVCC模型下，每个修改都会生成一个新版本，并在事务提交时才会更新数据的最终版本。
6. 多副本机制：TiKV使用多副本机制来保证数据的可靠性。每个数据分片都被复制到多个节点上，当一个节点失效时，其他节点可以接管它的工作。

总的来说，TiKV的架构设计是基于分布式系统的原则，通过Raft协议和PD等组件实现数据的可靠性、高可用性和负载均衡。它是一个高性能、可扩展的分布式键值存储系统，适用于大规模数据的存储和管理。