详解BI中的ETL是什么？具体如何实现？

做好一个BI项目的关键是什么？有人会说，那肯定是报表，报表是数据分析最直接的成果展示，好的报表能够帮助企业从各种纷杂的信息中及时地发现关键有效的信息，从而为决策提供支持。报表很重要，这是毋庸置疑的，但是支撑业务报表数据实时、正确、完整、可扩展的展示需求的ETL数据处理同样至关重要。

BI中的ETL到底是什么？

那么是什么ETL？ETL 的英文全称叫做Extraction抽取，Transformation转换，Loading加载。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。

抽取：指将数据从一个数据源、或者多个数据源抽取过来的动作，数据源有可能是关系型数据库，也可能是文本文件，或者一个程序的API接口。ETL的数据抽取具有丰富的数据连接能力，支持目前主流的关系数据库，如Oracle、Mysql、DB2、MSSQL、Presto+hive、星环、PG、Gauss100、Greenplum等等，通过创建数据源快速连接企业的业务数据库。

转换：指数据的清洗、合并、拆分、加工、数据逻辑计算处理的过程，通常会按照一定的业务逻辑规则进行计算，最后转换成符合业务模型、分析模型的规范性的数据。简单来说，不管是大数据、小数据，都是将不规范的、不可分析的、转换成规范的、可分析的数据。

加载：指将转换的结果按照分析模型需要的格式将数据写入到目标表，这些目标表就是业务自助分析的数据来源，通过按照一定建模的方式来组织的，不管是星型分析模型还是雪花型分析模型都是的。

这就是在BI中我们通常定义的ETL处理过程，实现BI的过程就需要ETL。ETL是BI项目建设中重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关系到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。

ETL具体如何实现？

ETL通常通过什么方式或者工具来实现呢？ETL的实现有多种方法，常用的有三种：

一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、SQL Server2005的SSIS服务、Informatic等)实现，一种是SQL方式实现，另外一种是ETL工具和SQL相结合。

前两种方法各有各的优缺点，借助工具可以快速的建立起ETL工程，屏蔽了复杂的编码任务，提高了速度，降低了难度，但是缺少灵活性。SQL的方法优点是灵活，提高ETL运行效率，但是编码复杂，对技术要求比较高。第三种是综合了前面二种的优点，会极大地提高ETL的开发速度和效率。

但目前的现状是越来越多的BI企业为了追求 "敏捷" 基本上已经放弃了传统数据仓库的构建。敏捷快速开发是没有错，但是该分清楚什么时候应该敏捷，什么时候应该保留传统数据仓库的架构。

这类产品的定位实际上更加适用于个人或者部门级的数据分析场景，并不适合一个真正企业级的BI项目构建。对于真正注重企业级BI的项目开发，不应该削弱数据仓库的作用，反而更应该加强。

盈析BI的数据处理方案

盈析数据BI产品中的ETL属于上述提到的实现ETL的第三种方式，平台内置了数仓实施工具，其中丰富的处理转换组件，通过拖拽式的流程设计，实现了数据抽取、清洗、转换、装载及调度，用于帮助企业构建数据仓库，完成数据融合，提升数据质量，服务数据分析。具有以下几个亮点：

1.可视化拖拽式任务设计，实施更高效

盈析数据的ETL程序设计人性化，运用可视化技术，让传统的数据整合黑盒子过程变得透明可见。有图形化的开发和监控界面，操作更易用，学习成本低，相应的运维成本低。

一般情况下，ETL过程设计需要用到大量的代码，且重复利用率较低。盈析数据BI中的ETL支持批量创建和数据抽样，开发过程支持多人协同定义，共享资料库等符合实施人员习惯，并在此基础上封装大量清洗转换规则，大大降低技术门槛，简单拖拽配置即可快速的建立起ETL工程，让实施更高效。

2.内置丰富处理转换组件，操作更简单

盈析数据BI中的ETL组件丰富多样，面向数据分析师精心打造，满足各种各样的数据处理场景。之前一个简单的数据处理需求，前期技术人员可能要徘徊2-3天的样子，更何况还有后期的修改，有了丰富的可视化ETL组件，复用率高，操作简单，数据处理更高效。

盈析数据BI中内置组件包括：数据转换组件（文件参数、Txt文件解析、数据库输入、数据库输出、Python处理、JSON解析、SQL脚本、循环容器、OpenApi节点、Shell节点）；数据同步组件（sql节点、表同步节点、删除数据节点、存储过程节点、OpenApi节点、Python节点、Kettle-Trans节点、Kettle-Jobs节点、静态文件节点、shell节点）。

3.灵活的调度任务，满足复杂场景需求

如果说ETL是BI的基础，那么调度就是ETL的灵魂。我们监控ETL的运行情况，任何程序都不能保证永不出错，需要做确保故障出现后能够弥补。ETL的调度通过BI调度任务自动执行，系统对ETL调度在状态、启用情况、执行时间上进行监控。ETL工作流定制完成时，系统自动设置计划任务进行ETL调度。用户只需简单操作，即可实现复杂的调度任务。

盈析数据BI的ETL调度导向，深度考虑各使用场景，在便捷易用的同时，满足数据处理时不同的用户需求。支持基于固定周期、明细频率、表达式的调度机制，如：事件周期、文件到达、脚本事件等；调度设置能指定到月份、日期、小时、分钟、秒的粒度；调度设置支持表达式等。如果ETL错误了，不仅能形成ETL出错日志，而且能向系统管理员发送警告。发送警告的方式多种，一般常用的就是给系统管理员发送邮件，并附上错误信息，方便管理员排查错误。

4.隔离设计，应用更稳定

另外，为保证运行环境的稳定可靠，盈析数据BI还提供了设计区与运行区隔离的机制，所有作业的修订和更改通过在设计区完成调试和试运行后，通过发布机制，发布到稳定的运行环境，保证开发和运行两不耽误。

ETL技术可以大大增强大数据的处理速度，为商业决策赢得更多的宝贵时间，同时也为数据仓库的建立奠定了良好的基础。盈析数据BI产品中ETL作为数据处理的核心模块，旨在降低工具操作的复杂度，让业务人员可以快速挖掘数据中蕴藏的价值，最终实现商业价值的快速提升。