告别“纷纷扰扰”—小米OLAP服务架构演进

本文从元数据和权限管理两方面介绍了小米OLAP服务的架构演进。

往期文章回顾：了解uid和gid如何在Docker容器中工作

背景

>>>>

What’s OLAP?

如果你是一名数据分析师，或者是一位经常和 SQL 打交道的研发工程师，那么 OLAP这个词对你一定不陌生。你或许听说过 OLAP、OLTP 技术，但是今天文章的主角OLAP 是由云技术平台提供的一款分布式数据分析服务，下面先简单介绍一下它。

小米 OLAP 是集存储计算于一体的分布式数据分析型数据库服务，通过 Kudu 实现“热数据”的实时写入和更新，通过自定义窗口定期迁移“冷数据”到HDFS，并以Parquet 格式存储，实现了冷热数据分离的架构，最终通过 SparkSQL 引擎提供同时对实时数据和历史数据进行分析的能力。

>>>>

OldArchitecture & Drawbacks