论：ETL工具与手工写脚本之比较

       近几年大数据时代到来，海量数据爆发，需要在无穷尽数据中分析、挖掘可用数据，面临前所未有的挑战，仅评传统手工代码解决洪水般数据是远远无法满足决策者所及。受国人传统思想，人工编码最为省时省力，导致信息化程度只是停留在数据、口号中，未曾把沉睡的历史数据跑起来，实现最大价值化，才是大数据信息时代下的价值最大化。ETL工具就是其诞生的理由所在。

    一、灵活性。ETL工具比较灵活，需要在此平台上设置规则定义，前期是需要工具先前必须已有支持功能，如果需要扩展，要ETL工具源厂商开发。而自己写脚本只需先前好好调研需求，自己写能实现的功能即可。俗话说得好“求人不如求己”哈哈哈！

       二、难易度。ETL工具相对上手比较容易，工程师只需具备两个必要条件：1 、对数据库熟悉 2、对客户的业务逻辑了解。手动写脚本呢？不仅要具备操作ETL工具的条件，还要必须有一定技术水平。

      三、后期管理与维护。ETL工具非常容易，这点上是用工具的最给力的优势。可能也是ETL工具诞生的缘由吧！原因：人力少不说，如有新的需求，只需稍加改动，图形配置定义即可。而手工编码呢？较难。需要重又开发写程序，随着数据信息的日积月累，每日数据的递增，更新。开发的速度赶不上需求的更新，严重到先前开发架构不合理甚至于有可能推倒重来的风险。如果取中间，既有图形配置有兼具脚本开发功能。

北京灵蜂专注国产自控核心ETL工具厂商:

• 轻量ETL工具— Beeload（发布2004年～）

1. 分享版  2. 标准版 3. 企业版

• 高端ETL工具——BeeDI （发布2012年～）

1. 标准版 2. 企业版 3. 集群版

     四、性能和效率。这方面取决于多方面如：1、硬件：服务器 CPU  内存 2、数据库类型  数据类型  3、网络状况4 、ETL 工具的配置 设计。。。。。整体来说 工具属于较高范畴，各家成熟ETL 不一致、各有千秋。手工写脚本就要看编程者的水平啦！因人而异，如果直接在数据库上写存储过兴许比任何一家成品工具高得多。如只求性能，数据标准化程度高，工具当属老美的informatica/ IBM 的DS ，当然配置复杂、后期维护成本就要看企业的技术能里和费用支配能力啦！

      五、开发周期：工具只需操作上源厂商负责培训，再把客户目前需求了解透彻，周期很短，上线见效快。手工编码不仅需要把客户（当前）需求了解透彻，未来需求也要有所预测，再进行开发。这样周期就不得而知了。 

      六、工作量：从上述些显然保守点得出：ETL工具属中等，手工编码属较重。写好程序还需大量测试工具，不断修正BUG 与完善。成熟工具已把这些工具先前做过了，即使有，也是可以容忍个别，原厂商可以分担时间项目风险。 

     七、投入成本价格：ETL工具前期成本投入较多,钞票先付。后期维护成本相对低。编写脚本，先期投入人力（工程师的工薪）中期大量测试人力，后期维护人力（工程师的工薪）看似相对较低。貌似不要票子的开源ETL工具 Kettle、teland，后期付费多少是个大大的问号❓（服务费、培训费、实施费、维护费......）——人工成本项目集成实施中核心成本之重！

      总之不管是用工具还是自己写脚本，要全盘考虑，根据各自项目大小，人工成本，愿意付出哪部分，适合的才是最佳滴！

 

                                                                                                            2018年元月23日晚