数仓实践：有关数仓架构的一些设计

一、背景

在早期数仓建设中，大多以批处理的方式为基线进行开发，随着业务的发展，需求对实效性和准确性要求越来越高，于是有了实时数据处理的流程，随之出现了 Lambda、Kappa 以及 Kappa+ 常见的数仓架构。

二、现有架构简介

1.Lambad架构

作为最经典和广泛应用的设计，抽象如下：

• 所有的数据需要分别写入批处理层和流处理层
• 批处理持久化数据，并做预计算
• 流处理作为速度层，对实时数据计算近似的 real-time view，作为高延迟batch view 的快速补偿视图
• 所有查询需合并 batch view 和 real-time view

优势

• 在实时性和准确性上达到均衡，从而满足业务诉求
• 批处理持久化存储，数据可重放，可扩展性和容错性较好
• 流处理产出近似结果，实效性上得到满足