实时数仓Hologres

1.概述

Hologres是阿里巴巴自主研发的一站式实时数仓引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供企业级离在线一体化全栈数仓解决方案。

2.功能概述

• 多场景查询分析Hologres支持行存、列存等存储模式和多种索引类型，同时满足简单查询、复杂查询、即席查询等多样化的分析查询需求。Hologres使用大规模并行处理架构，分布式处理SQL，提高资源利用率，实现海量数据极速分析。
  • 亚秒级交互式分析

    Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算、向量化算子发挥CPU极致算力、ORC格式列存优化索引、SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。

  • 高性能主键点查

    基于行存表的主键索引和查询引擎的短路径优化，Hologres支持每秒数十万QPS高性能服务型点查、支持高吞吐更新，相比开源系统性能提升10倍以上，可用于实时加工链路的维表关联、ID-Mapping等场景。

  • 联邦查询，外表加速

    Hologres无缝对接MaxCompute，支持外部表透明加速查询，相比原生MaxCompute访问加速5-10倍，支持冷热数据关联分析，同时支持MaxCompute与Hologres之间百万行每秒高速同步，支持OSS外部表读写，简化数据入湖入仓。

• 原生实时数仓针对实时数仓数据更新频繁、数据模型简单和分析场景敏捷的特性，Hologres支持高并发实时写入与更新，支持事务隔离与原子性，数据写入即可查。
  • 高吞吐实时写入与更新

    Hologres与Flink、Spark等计算框架原生集成，通过内置Connector，支持高通量数据实时写入与更新，支持源表、结果表、维度表多种场景，支持多流合并等复杂操作。

  • 所见即所得的开发

    数据实时写入即可查询，支持DB、Schema、Table三级体系，支持视图View，原生支持Update/Delete，支持关联、嵌套、窗口等丰富表达能力，支持半结构化JSON数据。

  • 全链路事件驱动

    支持表更新事件的Binlog透出能力，通过Flink消费Hologres Binlog，实现数仓层次间全链路实时开发，满足分层治理的前提下，缩短数据加工端到端延迟。

• 企业级运维能力支持计算负载、访问权限等细粒度管控要求，提供丰富的监控和告警指标，支持计算资源弹性扩展，支持系统热升级，满足企业级安全可靠的运维需求。
  • 数据安全

    支持细粒度访问控制策略，支持BYOK数据存储加密和数据脱敏，支持数据保护伞、IP白名单，支持RAM、STS及独立账号等多种认证体系，通过PCI-DSS安全认证。

  • 负载隔离

    支持基于资源组的负载隔离，隔离不同业务需求，不同查询类型，写入和读取等资源竞争场景，保障系统的持续稳定。

  • 高可靠设计

    多个计算实例组成高可靠部署模式，实例间共享存储，支持故障隔离和在线服务高可用，支持故障节点快速自动恢复。无需本地盘，盘古三副本高可靠冗余存储。

• 生态与可扩展性兼容PostgreSQL生态，与大数据计算引擎及大数据智能研发平台DataWorks无缝打通。无需额外学习，即可上手开发。
  • 兼容PostgreSQL生态

    Hologres兼容PostgreSQL生态，提供JDBC/ODBC接口，轻松对接第三方ETL和BI工具，包括QuickBI、DataV、Tableau、帆软等。支持GIS空间数据分析。

  • DataWorks开发集成

    Hologres与DataWorks深度集成，提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具，支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力。

  • 达摩院Proxima向量检索

    Hologres与机器学习平台PAI紧密结合，内置达摩院Proxima向量检索插件，支持在线实时特征存储、实时召回、向量检索。