Doris 入门：基础知识（一）

  Apache Doris 是一个高性能、简单易用、支持实时的 MPP 架构分析型数据库

一、MPP 架构

• 介绍
  • 全称 Massively Parallel Processor，翻译过来就是大规模并行处理
  • 在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上
  • 每台数据节点通过专用网络或者商业网络互相连接，彼此协同计算，作为整体提供数据库服务
  • 非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势
  • MPP 是将任务并行的分散到多个服务器和节点上，在每个几点计算完成后，将各自部分的结果汇总在一起得到最终的结果
• 简单来说
  • MPP 是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果（和 Hadoop 相似），仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析

二、OLTP、OLAP

• 联机事务处理 OLTP On-Line Transaction Processing
  • 操作型处理，主要目标是做数据处理，针对具体业务在数据库联机的日常操作，通常对少数记录进行查询和修改
  • 传统的关系型数据库系统（RDBMS）作为数据管理的主要手段，主要用于操行型处理
• 联机分析处理 OLAP On-Line Analytical Processing
  • 分析型处理，主要目标是做数据分析，针对某些主题的历史数据进行复杂的多维分析，支持管理决策
  • 数据仓库是 OLAP 系统的一个典型示例，主要用于数据分析
  • 引擎分类
    • M OLAP，基于多维数组的存储模型，特点是对数据进行预计算，空间换效率，明细和聚合数据都保存在 cube 中
    • R OLAP，完全基于关系模型进行存储数据，不需要预计算，按需即时查询，明细和汇总数据都保存在关系型数据库事实表中
    • H OLAP，混合模型，细节数据以 R OLAP 存放，聚合数据以 M OLAP 存放，这种方式相对灵活，且更加高效

三、Doris 概述

• Apache Doris 是一个现代化的基于 MPP 大规模并行处理 技术的分析型数据库产品，可以满足多种数据分析需求
  • 例如：固定历史报表、实时数据分析、交互式数据分析和探索式数据分析等
• 核心特性
  • 列式存储
  • 基于 MPP 架构的分析型数据库
  • 性能卓越，PB 级别数据毫秒/秒级响应
  • 支持标准 SQL 语言，兼容 MySQL 协议
  • 高效的聚合表技术
  • 新型预聚合技术 Rollup
  • 高性能、高可靠、高可用
  • 极简运维，弹性伸缩

四、整体架构

• Doris = Google Mesa + Apache Impala + ORC 列式存储
• Doris 整合了 Google Mesa 数据模型，Apache Impala MPP Query Engine 和 Apache ORCFile 存储格式、编码和压缩技术
• 极简架构
  • MySQL Tools(MySQL Networking) -> FE (Follower,Java) + FE (Leader,Java) -> BE (C++) + BE(C++)
    • FE Frontend 即 Doris 的前端节点，以 Java 语言为主，主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。
    • BE Backend 即 Doris 的后端节点，以 C++ 语言为主，主要负责数据存储、查询计划的执行

五、总结

• Doris 使用 MPP 引擎驱动的 ROLAP 模式，可以简化模型设计，减少预计算的代价，并通过强大的实时计算能力，可以支撑良好的实时交互体验
• Doris 是一个 ROLAP 引擎，可以满足 灵活多维分析、明细 + 聚合、主键更新
• 使用场景
  • 一般用于数据处理后半段，存储处理完的数据，给前端提供实时查询