滴滴海量离线数据的在线化 — FastLoad

桔妹导读：滴滴自成立以来，有海量的数据存储在离线平台，离线数据虽然存储便宜，压缩比高，但不适用于线上使用。为此，我们提供了一键式DTS平台——FastLoad，帮助业务往在线存储系统搬运离线数据，目前主要针对滴滴自研分布式存储Fusion，Fusion以RocksDB为存储引擎，服务线上集群500+，承载业务数据1600TB+，总QPS峰值1200W+，是一个成熟稳定的分布式NoSQL/NewSQL解决方案。

0.

目录

1. 业务背景：雄关漫道真如铁

2. 技术探讨：工欲善其事必先利其器

• Ingest SST

• Map/Reduce产出全局有序文件

3. 系统架构：千磨万击还坚劲

4. 总结展望：直挂云帆济沧海

• 基于FastLoad的数据传输给业务带来的收益

• 发展规划

FastLoad致力于离线数据在线化，服务业务300+，单日运行次数1000+，在线搬运30TB+的数据，提供数百亿次高效查询，服务稳定性达到99.99%。

1.

业务背景：雄关漫道真如铁

在没有FastLoad以前