大规模并行处理数据库StarRocks是新一代极速全场景 MPP(大规模并行处理)数据库。它充分吸收关系型 OLAP 数据库和分布式存储系统在大数据时代的优秀研究成果,在业界实践的基础上,进一步改进优化、升级架构,并增添了众多全新功能,形成了全新的企业级产品。自 2021 年 9 月正式开源。从 3.0 版本起正式支持存算分离架构,用户的存储成本能下降 80%,计算节点因无状态,可通过快速弹性、跨可用区部署等方式提高计算的可用性,并且计算资源能够进行物理隔离,按需独立弹性伸缩。在数据湖分析性能上,它不仅能够直接分析外部数据源,免除 ETL(提取、转换清洗、加载)的负担,还对开放数据湖的数据进行了大量优化,进一步提升查询效率。在物化视图方面,能够简化数据分层建模,实现透明加速查询,使对各种数据表的预先建模演变为后建模,让分析师得以创建可满足业务需求的逻辑视图。
StarRocks 的发展历程中,始终致力于解决大数据时代企业面临的数据挑战。它的出现使得全场景数据分析可以通过一个产品实现,为金融、零售、物流、制造和互联网等多个行业提供了高效的数据分析解决方案。目前,已有超过 300 家市值 10 亿美金的大企业和超过 1 万家中小企业采用 StarRocks。同时,其开源社区也在不断发展壮大,镜舟科技等企业为主导推进,众多其他企业也在为社区做出贡献。未来,StarRocks 计划继续以云原生实时湖仓为重心,在云原生、实时分析和湖仓一体等方面完成更多技术突破。
一、主要特点
极速统一分析:能同时高效支持 OLAP 多维分析、实时数据分析、高并发查询、adhoc 查询等多场景,比上一代同类型产品的分析能力快 3 至 5 倍以上。提供全新的 OLAP 多维分析体验,打破只能做大宽表的局限性,让多种数据建模模式(预计算、大宽表、星型模型和雪花模型等)都具备极速分析体验;支持数据实时更新和删除,保证极速查询性能;支持数千人同时访问,具有全新极简统一的 OLAP 架构,大大降低了使用和运维管理复杂度,提升了开发和使用效率。
- 架构简洁:整个系统的核心只有 FE(frontend,前端节点)、BE(backend,后端节点)两类进程,不依赖任何外部组件,方便