Abase2：字节跳动新一代高可用 NoSQL 数据库

字节跳动技术团队

于 2022-05-24 12:00:17 发布

阅读量3.8k

点赞数 1

文章标签：大数据分布式数据库 redis java

本文链接：https://blog.csdn.net/ByteDanceTech/article/details/124958274

版权

动手点关注干货不迷路 👆

自 2016 年以来，为了支撑在线推荐的存储需求而诞生的——字节跳动自研高可用 KV 存储 Abase，逐步发展成支撑包括推荐、广告、搜索、抖音、西瓜、飞书、游戏等公司内几乎所有业务线的 90% 以上的 KV 存储场景，已成为公司内使用最广泛的在线存储系统之一。

Abase 作为一款由字节跳动完全自研的高性能、大容量、高可用的 KV 存储系统，支撑了业务不断快速增长的需求。但随着公司的持续发展，业务数量、规模持续快速增长，我们业务对系统也提出了更高的要求，比如：

极致高可用：相对于一致性，信息流等业务对可用性要求更高，希望消除宕机选主造成的短时间不可用，和慢节点问题；
全球部署：无论是边缘机房还是不同地域的机房，同一个 Abase2 集群的用户都可以就近访问，获取极快的响应延迟；
CRDT 支持：确保多写架构下的数据能自动解决冲突问题，达成最终一致；
更低成本：通过资源池化解决不同用户资源使用不均衡，造成资源利用率不足问题，降低成本；
极致高性能：相同的资源使用下，要求提供尽可能高的写/读吞吐，和较低的访问延迟。适配 IO 设备和 CPU 性能发展速度不匹配趋势，极致高效对 CPU 的使用；
兼容 Redis 协议：为了让 Redis 用户可以无障碍的接入 Abase，以满足更大容量的存储需求，我们需要完全兼容 Redis 协议。

在此背景下，Abase 团队于 2019 年年底开始孵化第二代 Abase 系统。结合业界的先进架构方案及公司内部实践过程中的积累和思考，团队推出了资源池化，支持多租户、多写、CRDT 的软硬件一体化设计的新一代 NoSQL 数据库 —— Abase2。

Abase 支持 Redis 的几种主要数据结构与相应接口：

String: 支持 Set、Append、IncrBy，是字节线上使用最为广泛的数据模型；
Hash/Set：使用率仅次于 String，在部分更新/查询的结构化数据存取场景中广泛使用；
ZSet: 广泛应用于榜单拉链等在线业务场景，区别于直接使用 String+Scan 方式进行包装，Abase 在 ZSet 结构中做了大量优化，从设计上避免了大量 ZIncrBy 造成的读性能退化；
List/TTLQueue: 队列接口语义使业务在对应场景下非常方便地接入。