ETL工具的选择

最新推荐文章于 2024-04-22 16:49:46 发布

DB架构

最新推荐文章于 2024-04-22 16:49:46 发布

阅读量1k

点赞数

分类专栏：数据仓库文章标签： etl 数据库大数据

本文链接：https://blog.csdn.net/u011868279/article/details/129399947

版权

数据仓库专栏收录该内容

15 篇文章 3 订阅

订阅专栏

正确选择 ETL 工具，可以从 ETL 对平台的支持、对数据源的支持、数据转换功能、管理和调度功能、集成和开放性、对元数据管理等功能出发，具体如下。

支持平台

随着各种应用系统数据量的飞速增长和对业务可靠性等要求的不断提高，人们对数据抽取工具的要求往往是将几十、上百个 GB 的数据在有限的几个小时内完成抽取转换和装载工作，这种挑战势必要求抽取工具对高性能的硬件和主机提供更多支持。因此，我们可以从数据抽取工具支持的平台，来判断它能否胜任企业的环境，目前主流的平台包括 SUN Solaris、HP-UX、IBM AIX、AS/400、OS/390、Sco UNIX、Linux、Windows 等。

支持数据源

对数据源支持的重要性不言而喻，因此这个指标必须仔细地考量。

首先，我们需要对项目中可能会遇到的各种数据源有一个清晰的认识；

其次对各种工具提供的数据源接口类型也要有深入了解，比如，针对同一种数据库，使用通用的接口（如 ODBC/JDBC）还是原厂商自己的专用接口，数据抽取效率都会有很大差别，这直接影响到我们能不能在有限的时间内完成 ETL 任务。

这里，笔者列出一些常见的数据源供参考：DB2、Informix、Oracle、Sybase、SQL Server、 Teredata、OleDB、SAS、Text、Excel、SAP、Peoplesoft、IMS、VSAM、QSAM on 390、FTP、 XML、MessageQueue、Weblog 等。

数据转换功能

数据转换是 ETL 中最令人头疼的问题，由于业务系统的开发一般有一个较长的时间跨度，这就造成一种数据在业务系统中可能会有多种完全不同的存储格式，甚至还有许多数据仓库分析中所要求的数据在业务系统中并不直接存在，而是需要根据某些公式对各部分数据进行计算才能得到。因此，这就要求 ETL 工具必须对所抽取的数据进行灵活的计算、合并、拆分等转换操作。

通常情况下，我们遇到的 ETL 转换要求包括：

字段映射；映射的自动匹配；字段的拆分；多字段的混合运算；跨异构数据库的关联；自定义函数；多数据类型支持；复杂条件过滤；支持脏读；数据的批量装载；时间类型的转换；对各种码表的支持；环境变量是否可以动态修改；去重复记录；抽取断点；记录间合并或计算；记录拆分；抽取的字段是否可以动态修改；行、列变换；排序；统计；度量衡等常用的转换函数；代理主键的生成；调试功能；抽取远程数据；增量抽取的处理方式；制造样品数据；在转换过程中是否支持数据比较的功能；数据预览；性能监控；数据清洗及标准化；按行、按列的分组聚合等。

管理和调度功能

由于我们对数据抽取的要求越来越高以及专业 ETL 工具的不断涌现，ETL 过程早已不再是一个简单的小程序就可完成的，目前主流的工具都采用像多线程、分布式、负载均衡、集中管理等高性能高可靠性与易管理和扩展的多层体系架构。因此，这就要求 ETL 在管理和调度功能上都具备相应的功能。

管理和调度的基本功能包括：抽取过程的备份与恢复；升级；版本管理；开发和发布；支持统一以及自定义的管理平台；支持时间触发方式；支持事件触发方式；支持命令行执行方式；支持用户对计算机资源的管理和分配；负载均衡；文档的自动生成；调度过程中能否执行其他任务等。

集成和开放性

随着数据仓库技术在国内应用的不断深入，许多开发商希望不向用户提供 ETL 工具的原来操作界面，而是将其一些主要功能模块嵌入到自己的系统或其他厂商的系统中，因为在大多数情况下一般项目只会用到 ETL 工具的少数几个功能，同时也没有必要给用户提供那么复杂的操作环境，其结果反而使用户容易产生操作错误。

上述问题就要求 ETL 工具能提供很好的集成性和开放性，

可以从几方面考量：与 OLAP 集成；与前端工具集成；与建模工具集成；开放的 API 可将产品集成到统一界面；是否能调用各种外部应用，包括存储过程、各种流行语言开发的应用程序等；是否支持客户化定制的转换过程；是否支持与统计分析工具的集成等。

管理元数据

元数据是关于数据的数据，尤其对于 ETL 来说尤其重要。ETL 中大量的数据源定义、映射规则、转换规则、装载策略等都属于元数据范畴，如何妥善地存储这些信息已经关系到 ETL 过程能否顺利完成而且影响到后期的使用和维护。任何业务逻辑的微小改变最终都落实为相应元数据的调整，初期没有一个完善的元数据管理功能而后期作类似调整几乎是“不可完成的任务”。基于元数据的重要性，国际组织提出一些统一的元数据存储标准，比较知名的如 CWM 等，为不同厂商工具之间互操作提供了可能性，相信也是今后的发展趋势。

针对 ETL 的元数据管理，笔者认为应包括：元数据存储的开放性；元数据存储的可移植性；提供多种方式访问元数据；元数据的版本控制；支持开放的元数据标准；支持 XML 进行元数据交换；支持分布式的元数据访问和管理；生成元数据报表；对于 ETL 过程的冲突分析；基于元数据的查询功能；元数据的广播和重用；对于 ETL 过程的流程分析等。