前言
2021 年,转眼 Lindorm 已经在阿里发展了十年的时间,从基于 HBase 深度改造的 Lindorm 1.0 版本,到全面重构,架构大幅升级的 Lindorm 2.0 版本;从单一的宽表引擎,到支持搜索、时序、文件等多种结构化数据处理的多模引擎,Lindorm 始终保持着快速迭代和升级的速度,以满足阿里集团各类业务的数据存储需求。目前,Lindorm是公司内部数据体量最大,覆盖业务最广的数据库产品之一。
去年,在让广大用户看得见、存得起的理念下,Lindorm 再次做了品牌升级,率先提出了多模超融合数据库概念。Lindorm 不单单是宽表、时序、搜索等引擎的简单堆叠,而是在统一的分布式存储引擎之上,各个引擎之间互通融合,并由统一的 SQL 入口来实现多模数据库的统一访问。
在 Lindorm 一个数据库中,用户就可以实现流式计算,宽表存储,列式索引、时空索引、时序预测、数据订阅,以及在各个模型上的复杂分析等多种功能。面对复杂多变的业务,以及百花齐放的应用,业务不需要面临选型和运维多个复杂数据库的难题,数据的整个生命周期都可以在Lindorm 内部各个组件中完成,满足用户写入,查询,分析,监控各种需求。
2021年双11,Lindorm为手淘互动营销、智能风控、媒体大屏、生意参谋、花呗决策、消费记录等核心系统保驾护航,提供集群水位和状态透传产品化能力,业务可自行按需伸缩,提升备战效率,业务支持成本降低80%。云原生Serverless架构升级,大促资源按需弹性伸缩,资源管理效率提升10倍+,降本增效。基于存储池化及透明压缩技术,最高降低53%存储成本。分布式3AZ架构,实现秒级恢复的跨机房强一致容灾能力,支撑金融级高可用场景。
而作为 Lindorm 多模数据库中重要一环的宽表引擎,目前已经完整经历了 Lindorm 十年的发展,其功能、性能、稳定性等方面的诸多创新历经了长时间的大规模实践考验。服务了包括淘宝、天猫、蚂蚁、菜鸟、妈妈、优酷、高德、大文娱等数十个 BU。
Lindorm 宽表融合了阿里巴巴过去十年在大规模宽表技术领域的技术能力和经验,并在上云后,利用云基础设施,实现了云原生化,向低成本等方向又有了一些创新和突破,进一步构建了海量数据处理场景的竞争力。十年的演进过程中,我们实现了跨 AZ 容灾,支持了多一致性满足各种业务的需求。支持一体化冷热分离,高压缩算法降低用户成本。实现了分布式全局二级索引,并和搜索引擎结合推出 SearchIndex 满足用户各种复杂查询需求。十年来,我们团队聚焦在宽表领域,不断打磨 Lindorm 宽表引擎,可谓是十年磨一剑。今年我们又对 Lindorm 宽表的一些功能进行了升级和改造,推陈出新,真正践行了把简单留给客