TiDB数据库持久化 TiKV

a_ausb

已于 2024-03-20 19:20:30 修改

阅读量127

点赞数

分类专栏： # 后端文章标签： tidb 数据库 sql 分布式

于 2023-08-05 12:48:36 首次发布

本文链接：https://blog.csdn.net/a_ausb/article/details/132116595

版权

15 篇文章 0 订阅

订阅专栏

TiKV 架构和作用

TikV架构

TiKV通过rocksdb进行持久化，其中有两个rocks实例，一个rocksdb kv用来以region为单位存储数据，一个rocksdb raft 用来存储指令。
raft共识算法为多个TiKV存储节点生成副本。
Coprocessor算子下推。

RocksDB针对Flash存储进行优化，延迟极小，使用LSM存储引擎。

RocksDB写入

采用LSM树的形式插入数据，首先将数据存储在MemTable，达到一定量之后再写入磁盘。
LSM树横跨内存和磁盘，MemTable，immutable MemTable和SST
写数据之前预写入日志文件，WAL（write ahead logging），之后再将数据写到内存中。sync_log=true，让写入直接写入磁盘，跳过操作系统缓存。
MemTable中数据大小达到write_buffer_size的时候，旧将数据转存immutable MemTbale，另外再开辟新MemTable。
immutable MemTable是MemTable写入磁盘的中间站，MemTable写入磁盘的时候会阻塞读写，所以使用immutable MemTable作为中间站。
如果写入速度特别块，刷磁盘速度跟不上，immutable MemTable数量达到五个，则触发流控（write stall）。客户端写入速度变慢。流控会写入日志。
Level0是immutable MemTable的复刻，内容与其完全一样。
Level 0中文件达到四个之后，就写入下一层。Level1开始，key都是排好序的。查找的时候使用二分查找即可。
删除操作，是写入一条删除操作的数据。更新也是这样。
每次写入的时候不用考虑数据在哪，直接写入MemTable即可。

分布式事务的实现

begin：从PD组件获得开始时间TSO start timestamp。事务commit之后进入两阶段提交
prewrite：将修改的数据和锁信息写到TiKV节点。
TiKV节点使用三个列簇来存，Lock存储锁信息。只给事务第一行加一把主锁（pk），其他的锁（@主锁id）都指向这个锁。
commit：到PD组件获得结束时间commit timestamp。在write列簇中写入提交信息，<事务id_结束时间，开始时间>。在Lock列簇中，写入删除锁的信息。
读取的时候，先到write列簇中查找，获得事务开始时间之后，到default列簇中查看数据。如果write列簇中没有数据，而lock列簇中有锁，则该数据正在修改。

【注意】