ETL架构师面试题（八）



实时ETL

一．简述在架构实时ETL时的可以选择的架构部件。

       在建立数据仓库时，ETL通常都采用批处理的方式，一般来说是每天的夜间进行跑批。

       随着数据仓库技术的逐步成熟，企业对数据仓库的时间延迟有了更高的要求，也就出现了目前常说的实时ETL（Real-Time ETL）。实时ETL是数据仓库领域里比较新的一部分内容。

       在构建实时ETL架构的数据仓库时，有几种技术可供选择。

1．微批处理（microbatch ETL，MB-ETL）

微批处理的方式和我们通常的ETL处理方式很相似，但是处理的时间间隔要短，例如间隔一个小时处理一次。

2．企业应用集成（Enterprise Application Integration，EAI）

EAI也称为功能整合，通常由中间件来完成数据的交互。而通常的ETL称为数据整合。

对实时性要求非常高的系统，可以考虑使用EAI作为ETL的一个工具，可以提供快捷的数据交互。不过在数据量大时采用EAI工具效率比较差，而且实现起来相对复杂。

3．CTF（Capture, Transform and Flow）

CTF是一类比较新的数据整合工具。它采用的是直接的数据库对数据库的连接方式，可以提供秒级的数据。CTF的缺点是只能进行轻量级的数据整合。通常的处理方式是建立数据准备区，采用CTF工具