慎选 ETL工具（informatica？beeload? kettle?)

近年来由于信息化如海啸般袭来，商业智能（BI)、大数据、数据挖掘、数据分析、人工智能相关需求应用而生。要做到这些终极决策需求，需要及时、精准、海量数据中获取，既不能直接在业务层抽取数据（影响业务性能、数据存在"脏数据"......)；传统手工代码小量数据处理还是可以应对。随着数据量日趋成倍增长, 需要满足大中小企业数据集成—ETL工具就是其诞生的理由！

 

提起ETL工具，业内人士首先是想到国外有商用informatica(自研） \IBM DS（收购）\OGG（收购）——贵 , 还有免费开源kettle\talend——免费。

商用 informatica 1993年创立于 （美国加利福尼亚州）并于1999年4月在纳斯达克上市

商用 beeload (中国 北京 自研），2003年设计架构于 中国 北京 ，并于2004年4月1.0发布

开源 kettle2006年加入了开源BI组织  自2017年9月起，已被（日立集团下的公司）收购

开源 talend2008年底在（北京成立分公司），办公地点位于CBD

在BI 即商务智能项目 最大的痛点并不是数据的可视化和分析、挖掘。80%～90%项目时间在将不同来源的业务系统中的数据传输到同一个地方进行整理的过程中存在实施成本问题（规则定义、清洗、字典转换、传输、安全、性能......) 一旦数据进入企业数据网络信息中心仓库后，其分析、挖掘和可视化的问题都有解决方案，而在如何快速 精准处理这些业务数据上却鲜有解决之道。重点考虑一下2个方面：

1. 选 ETL工具需谨慎         （好工具事半功倍）
2. 专业高效实施能力         （人力时间是成本）

由于国内对ETL工具大范围需求量急剧增加，各软件公司如雨后春笋般包装开源kettle的；甚至免费用开源talend,前期宣称仅收取实施费用“而已”。岂不知在做ETL数据集成过程中实施占整个项目的80%的权重，还有后续的长期维护人力成本。所以用户在选型ETL工具过程中，是否包装开源ETL工具kettle 产品要重中之重。原因很简单，ETL工具实施和后期维护才是占绝对比例的人力和时间成本。使用开源kettle产品用户实例：

Kettle：无增量同步，当多作业任务运行时，不能串行和并行导致失败需要重启，定时调度不好用，上线维护管理存在隐患。用kettle配置了200多个作业，数据源有oralce\sqlserver\DB2\informix\Mysql……txt\excel\wen、文件特别是业务数据量日益增多后，管理相当麻烦棘手。考虑更换商用产品时，面临需要改造和迁移，人力成本、时间成本和迁移成本，风险评估高。无人敢轻易带头更换。。。。。。领导当时就图产品免费的/开源与否解决问题就行啦！可以省一大笔开销......炸听，理儿是这个理儿！ 技术人员就是成本——增加工作量会使用“而已”，作为数据库管理员（DBA)感觉像埋放一枚“地雷”。重要的是，研究开源kettle 无服务支持，遇到棘手的问题无人问津，束手无策！1、掉进这个项目里出不来 2、新增其他项目组任务。后悔当初没有建议购买商用工具，至少可以给分担出去。每年有N个项目等着要做，如今成了：发现开源bug 、规避开源bug、策略开源bug、解决开源bug......kettle从免费到“鸡肋”。最痛苦不堪莫过于干活儿的技术工程师们的烦恼（一言难尽呐！）

informatica :      引领行业概念、性能自不必说。IT源自西方（得服！）实际落地中国多年后（水土不服—有！）

                            重要的是产品费用和高昂长期无限量级维护服务费——非持续性土豪企业级飘过～

 

Beeload:              一款纯国产品牌 ETL 工具  自研核心 版本分类：分享版\标准版\企业版\集群版

                             性能稍逊色国际品牌（同样软硬件环境及数量级，国际品牌1秒完成，而国产需要1.5秒）

                        

 

开源（如kettle）：开源使用风险自己承担（数据安全），商用风险产品公司承担！   如果对开源（如 kettle)的

                                 BUG  —— 有足够的能力（精通JAVA) 和时间去解决， 选择开源（kettle)没毛病哈！

                   

总之吧，      世上没有免费午餐，只有利益权衡！

                      世上没有最最好的，只有适合即可！

                      根据实际数据集成项目大小，合理甄选，量体裁衣才是最对的！

                                            

                                            ——————“工欲善其事，必先利其器“  工具也！

                                                                   “明日复明日，明日何其多” 时间也！