数仓 调度_大数据作业调度

大数据作业调度

云上大数据仓库解决方案

阿里云为企业提供稳定可靠离线数仓和实时数仓的解决方案，包括数据采集、数据存储、数据开发、数据服务、数据运维、数据安全、数据质量、数据地图等完整链路。

离线数仓

基于Serverless的云上数据仓库解决方案。

架构特点

开箱即用：简单几步开启自己的一站式大数据开发平台

低TCO：Serverless服务，免运维，降低企业成本

资源弹性：根据数据规模系统自动扩展集群存储和计算能力

强数据安全：多层沙箱机制防护与监控，备细粒度化授权

实时数仓架构特点

秒级延迟，实时构建数据仓库，架构简单，传统数仓平滑升级。

架构特点

数据模型基本不变

消息队列取代传统数仓分层表

订阅式实时计算取代调度式批处理

架构类型

Lambda架构

逐渐升级，批流结合

Kappa架构

一套系统，维护简单

方案优势

离线数仓超大规模计算和数据治理方案

阿里云大数据计算服务针对PB/EB级数据进行分布式的数据加工，并在数据集成、加工、应用过程中提供全链路数据质量监控和保障，同时提供全方位的数据安全管控，字段级权限访问。

实时数仓超强的实时计算能力与快速搭建

阿里巴巴双11每秒处理日志数峰值达到25.5亿，全链路延迟在3秒，大幅提升了实时任务的可扩展性、性能、用户易用性、改善了任务延迟的SLA，并能够秒级恢复。