为什么ETL任务困难

---

title: 为什么ETL任务困难
summary:
自传统数据仓库理论形成,ETL 占据其中70%工作量就已经成为常识。可即便经过几十年到今天,各个平台的 ETL 普遍还在初级阶段,这背后深层次的原因是什么?
tags:
- BI
- ETL
- DW
- 大数据
…

为什么 ETL 很困难?

工具繁多

从 DataStage到Kettle, ETL 工具覆盖了商业化领域和开源领域, 价格从几十万到免费,起码有几十种选择。

有人要说了,选择多不是一件好事么?如果再早几年,我会同意这是好事,可到现在,我要说 NO!

前面关于决策思维的博文提到一个论点:相比于普通人做出决策,专家是会直接给一种可行方案还是罗列众多方案类比优劣?

答案是前者,也是我反对选择众多是好事这一论点的依据之一。

那么选择多有什么坏处?

• 基础方案混杂。各公司方案不同,甚至一个公司 ETL 环节也采用不同工具及架构,人才无法公用,维护成本高。
• 数据项目失败案例远多于成功案例, 项目选型越复杂成功概率越低。大量公司做 BI、做大数据,甚至在没有人懂的情况下招人开工!事实上在数据领域,熟手都清楚一个现象,没有成功案例的人很难做成数据项目。很残忍的现实,但也让那些盲目投入资源跟风做项目的公司考虑冷静下来了。
• 抬高实施门槛。现在大家都想做数据,进入大数据领域,尤其是有很多不具备该领域经验的公司想要做。那么实施前首先就是选型了,如果从三个产品选一个来做还可行的话,那么要从三十个产品中选型,这个工作本身就阻碍了数据项目的开展!

GUI工具

说到这里反对的朋友更多了,GUI 所见即所得,降低使用门槛,好处一页都写不完,作为一名数据领域从业者,我决然反对,自己都能感觉到火药味。
为了论证我的观点,这里要罗列ETL领域那些GUI的罪证了。<