大数据架构OLAP技术选型

baihaisheng

已于 2024-03-31 20:20:43 修改

阅读量696

点赞数 3

分类专栏：大数据文章标签：大数据

于 2024-03-14 14:50:59 首次发布

本文链接：https://blog.csdn.net/qq_41128383/article/details/136710666

版权

大数据专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文对比了OLAP数据库如AnalyticDB、Hologres、Doris、StarRocks和ClickHouse等在多表关联、多维查询、实时处理和功能集成等方面的技术需求，并介绍了各自的技术架构，重点关注MySQL兼容性和资源管理特性。

摘要由CSDN通过智能技术生成

OLAP数据库选型对比：
AnalyticDB(阿里）、Hologres（阿里）、Doris、StarRocks、ClickHouse、Hbase 、Presto(通过connector支持多数据源jion查询）

OLAP技术需求考虑：
1、多表关联：join支持
2、多维查询：性能（MPP，向量化执行引擎）、索引支持、物化视图、精确去重、高并发
3、实时导入/查询：update/partial update/delete（多路流jion场景），表列数限制（宽表场景、局部列更新场景需要考虑列数限制）

4、函数支持、湖仓一体（直接查询数据湖数据、数据冷热分离、兼容hive、oss、iceberg、hudi）、数据湖格式兼容、扩缩容、高可用、权限管理、

AnalyticDB MySQL 技术架构

Adb是融合数据库、大数据技术于一体的云原生企业级数据仓库服务、支持高吞吐的数据实时增删改查低延时的实时分析和复杂ETL、兼容上下游生态工具、可用于构建企业级报表系统、数据仓库和数据服务引擎等,java 开发的，兼容MySQL协议

接入层：负责和用户侧进行交互，接受查询请求解析SQL查询语句，生成并优化查询计划及任务调度
计算层：负责具体的任务计算逻辑执行
存储层：负责数据存储及扫描数据

产品形态：
弹性模式：存储计算分离，支持分别扩展、计算时弹性功能、计算资源组隔离功能

资源组
在弹性模式中
支持资源组隔离，资源池功能可以对计算资源进行弹性划分，不同资源池之间的计算资源在物理上完全隔离，通过ADB mysql数据库账号绑定到不同的资源池，sql查询根据绑定关系路由至对应的资源池进行执行，从而满足实例内部多租户、混合负载的需求

默认资源池
默认资源池 user_default 是实例创建时存在的，不可删除
自定义资源池
用户自定义创建的资源池，可以针对资源的计算、查询执行模式、ADB mysql账号与资源池的绑定关系修改

查询流程
1、用户下发sql
2、前端节点负责解析SQL、生成分布式执行计划、下发到计算节点和存储节点执行
3、执行完成后、将结果返回费前端节点

常见概念
1、Stage：代表了整个SQL分布式执行计划树中的一颗树，每一stage会对应多个tast并发
2、Tast：是stage在某一个worer或者excutor上的实例负责具体的计算执行
3、Oprator：具有计算能力的运算单位，表示一个计算逻辑
在这里插入图片描述
参考官网：https://help.aliyun.com/zh/analyticdb-for-mysql/product-overview/overall-architecture

hologres(实时数仓）技术架构
在这里插入图片描述
SQL执行流程：
1、Client提交SQL到FE。FE是SQL的入口，主要负责解析与任务生成
2、FE内部的执行优化器将SQL翻译成执行计划，并提交给协调器
3、协调器从管理器中获取资源信息，根据执行计划产出执行分片，下发给不同Worker节点节点完成操作

在这里插入图片描述

官网参考：https://help.aliyun.com/zh/hologres/product-overview/architecture

Doris技术架构
Doris整体架构如下图所示，Doris 架构非常简单，只有两类进程

Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。

Backend（BE），主要负责数据存储、查询计划的执行。
在这里插入图片描述
参考官网：https://doris.apache.org/zh-CN/docs/get-starting/what-is-apache-doris/

StarRocks技术架构
在这里插入图片描述
参考官网：https://docs.mirrorship.cn/zh/docs/3.0/introduction/Architecture/

ClickHouse技术架构
Shard：集群内划分为多个分片或分组（Shard 0 … Shard N），通过 Shard 的线性扩展能力，支持海量数据的分布式存储计算。
Node：每个 Shard 内包含一定数量的节点（Node，即进程），同一 Shard 内的节点互为副本，保障数据可靠。ClickHouse 中副本数可按需建设，且逻辑上不同 Shard 内的副本数可不同。
ZooKeeper Service：集群所有节点对等，节点间通过 ZooKeeper 服务进行分布式协调。
在这里插入图片描述