开放式ETL产品 是 信创国产化替代“标配“（下篇）

信创国产化通俗来讲，就是在核心芯片、基础硬件、操作系统、中间件、数据服务器等领域实现信创产业的国产替代。ETL技术 属于基础软件类中间件技术。发展自己研制的安全可靠的能够保证国家信息安全的设备，随着信息安全问题日益突出，信息安全已上升至国家战略。自主可控，国产化替代已成为历史趋势。随着外部环境日益复杂的大背景下，信创国产化与自主可控无疑成为未来三到五年的发展重心，国产化率提升需求旺盛。

解决替代当下国内三大方向ETL技术现状

1. 写ETL脚本实现。
2. 开源ETL工具 / 包装 开源ETL行业集成商（B/S 架构）
3. 已上线的美国 ETL厂商产品

彻底解决手工代码后期无尽的效率低下与无尽维护成本； 开源为闭源埋下不定期的地雷；及早避开“卡脖子”后期维护服务。需要一款纯国产自研核心开放式ETL产品当务之急。开放式ETL产品应具备以下几个要素：

1.业务角度：不同平台、系统的相互大批量数据交互。能够为数据的目的端落地提供支撑，需要端到端的更适应业务需要的交换ETL产品。

2.技术角度：ETL做一定的扩展可以升级为兼具交换能力，两者有传承，可以实现平滑过渡。功能组件异常丰富，Paas级ETL产品 功能组件提供稳定、快捷、透明、可控的国产核心技术大数据ETL的平台，零成本开发和维护。

3.管理角度：ETL产品，管理对象都是接口，用工具实现所有接口的透明化统一管理，显然开放式ETL产品是最好的方案，所有接口的透明化统一管理，（如繁多的FTP&文件传输，搞晕了运维人员，付出的管理成本很大。）都可轻松运维，零管理成本。工作流调度功能组件配置一界面解决。

4.多样化数据采集能力: 支持对表、文件、消息等多种数据的实时增量数据采集(使用flume、消息队列、OGG等技术)和批量数据分布式采集等能力(SQOOP、FTP VOER HDFS)，比基于传统ETL性能有量级上的提升。

5.业界主流数据库的相互对接能力：随业务驱动需求，随时可增开新的数据库类型。现接口支持如下：

6.具备多租户管理：能够授权自主配置。基于C/S 架构，客户端软件(Client 即N个用户配置)负责任务配置及远程监控，服务器软件包含RJS（即N个服服务运行 和Monitor，分别负责任务运行和及本地监控，用户可以通过Client 远程登录到RJS 进行任务的发布，删除、调度或终止。

7.具备开放能力：对外输出元数据。企业级平台的刚性要求，杜绝做平台的企业封闭。统一的数据管理平台，不能由于交换平台的封闭，让数据管理平台废了50%，企业未来引入开发过式ETL产品必须考虑的因素。

8.具备可视化快速配置能力：提供图形化的开发和维护界面，支持图形化拖拽式开发，免代码编写，降低开发难度，配置一个数据接口耗时小，传统采用的的老式ETL平台一个接口平均配置3小时。

---

开放式ETL产品 的现实挑战

业内真正能打造这类开放式PaaS级的开放式ETL平台屈指可数，因为现实此类交换平台综合要求其实非常高，除了技术因素，挑战更多来自于需求理解、开放性及持续服务能力，这是实践中遇见的痛点：

客户需求的理解是硬伤。大部分公司技术的确很强，但由于产品是卖给别人的，自己也不会用，未来不是说技术有多强，而在于其产品从实践中走出来，在客户需求理解能力上是大多数公司难以项背。客户不需要技术有多厉害，快速精准解决问题就行，往往产品选型时，经常沦陷拼性能，列功能，强升级的场景，忽视本质的需求。

开放性是绝大部份公司的软肋。大多数场景其实需要极简的界面，渴望开放API， 能与其他平台无缝集成，开放元数据接口，开放API ( 即编程接口、脚本)。

服务型公司才是未来。未来是服务时代，漂亮的APP ，时尚的一堆堆概念，都无法预测未来。精准解决当下亟待问题，做好持续服务的准备。一个合理的优化短则一月，多则1-2年，这样的时代已然过去，客户好无耐心等待。

ETL作为搞大数据核心的技术平台，在建设或选择的时候，要考虑的东西非常杂多，以为搞了云化就好了，岂不知仅仅解决了ETL中冰山一角，不忽悠且理解真正想要什么很难。

总之。在设计数据交换平台的功能之初，任何个需求要进行确认，投入的精力很大，不全面考虑，死磕到底，最后企业终究自己买单，一个小功能的缺失就可能导致ETL的效率的大幅降低，甚至推倒重来，留给运维团队的也将是无尽的痛苦。

---

轻量化的ETL工具 Beeload 产品 & 高端的ETL工具 BeeDI 产品 为北京灵蜂纵横软件有限公司 源自2008年，专注、专一、专业 于自研核心ETL技术（非包装开源）。完全符合当下 所需的 信创国产化替代之基础型软件中间件。

即刻下载体验 http://www.livbee.com