MySQL rockdb 性能_使用TerarkDB提升MySQL的性能.pdf

使用TerarkDB提升MyRocks的性能

——随机读场景下的 MySQL性能优化

雷鹏 peng@

CTO

大纲

l MyRocks简介

l 为什么选择 MyRocks

l 传统数据库的块压缩

l 硬件的发展趋势

l TerarkDB 和 MyRocks 的关系

l TerarkDB 的原理、优势、劣势

l 新的问题，以及优化建议

MyRocks简介

l MyRocks=MySQL+RocksDB(存储引擎)

l 基于 MySQL-5.6 ：代码(MySQL onTerarkDB)

Ø 增加了一些 MySQL-5.7 的 Feature

Ø 增加了一些针对 RocksDB特有的语法和功能

Ø 有部分功能不支持，详见：MyRocks-limitations

l 深入了解 MyRocks ：MyRocks DeepDive

MyRocks主要功能

l 类似 InnoDB 的功能

l 事务

Ø 基于 MVCC

Ø ReadCommitted,RepeatableRead(PostgreSQL-style)

l 在线备份

Ø 逻辑备份(使用 mysqldump)

Ø 二进制备份( 使用 myrocks_hotbackup )

为什么选择MyRocks

l 成熟稳定，满足绝大部分功能需求

l 使用单一 DB，适合云 DB多租户场景

l 基于 RocksDB，直接兼容TerarkDB

l 基于 LSM，对 SSD友好

传统数据库都使用块压缩——

l InnoDB

l LevelDB/RocksDB...

l TukoDB

块压缩有着难以克服的，

l WiredTiger 固有的缺陷，

l Cassandra/ScyllaDB 我们看看它的原理，

l CouchDB 分析一下——

l HBase

l ……

块压缩的原理

l 多条数据打包成一个块，索引定位到块

Ø 增大块：索引更小，单个块中的数据条数更多，无效解压更多

Ø 减小块：索引更大，压缩算法无法有效工作，压缩率更低

l 块缓存 DirectIO导致缓存中只有

问题 1

解压后的数据，一定程

太慢了——

Ø 每次访问都解压一个块，

度上减小了内存利用率

Ø 解压出来的块放入缓存

问题 2 DirectIO需要对齐访问，

Ø 操作系统还有文件缓存 双缓存问题！

使用DirectIO 最坏情况下需要跨边界

(压缩的数据保存在文件中) 多读两个块

硬件的发展趋势

l 机械硬盘的 容量/价格 仍有巨大优势

Ø 更耐写，更安全；氦气硬盘，HAMR 技术……

l SSD越来越便宜，NVMe/PCIe 已广泛应用

Ø 不耐写，写坏了数据就永久丢失

Ø NVMe/ PCIe 接口的 SSD更快，延迟更低

l 3DXPoint ，比 SSD更快，更耐写

Ø 第一代产品 Optane(闪腾)已经上市！

Ø 使用 DIMM接口，可当做内存用……

硬件的发展趋势

带宽(MB/s) IOPS 延迟(us) 访问粒度