MySQL每秒57万的写入，带你飞~

一、需求

一个朋友接到一个需求，从大数据平台收到一个数据写入在20亿+，需要快速地加载到MySQL中，供第二天业务展示使用。

二、实现再分析

对于单表20亿， 在MySQL运维，说真的这块目前涉及得比较少，也基本没什么经验，但对于InnoDB单表Insert 如果内存大于数据情况下，可以维持在10万-15万行写入。 但很多时间我们接受的项目还是数据超过内存的。 这里使用XeLabs TokuDB做一个测试。

三、XeLabs TokuDB介绍

项目地址： https://github.com/XeLabs/tokudb

相对官方TokuDB的优化：

• 内置了jemalloc 内存分配；
• 引入更多的内置的TokuDB性能指标；
• 支持Xtrabackup备份；
• 引入ZSTD压缩算法；
• 支持TokuDB的binlog_group_commit特性；

四、测试表

TokuDB核心配置：

 

 

表结构：

 

 

利用load data写入数据：