数据交换实践：创建业务系统间高速公路

转载本文需注明出处：微信公众号EAWorld，违者必究。扫描文末二维码可加入本文作者所在技术讨论群。

企业大量的IT投资建立了众多的信息系统，但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝的共享和交换数据。

如何建立一种可靠、高效、动化的数据交换平台，已成为企业间资源共享，价值创新，实现优势互补重要课题。那么，在国家大力支持信创产业、推进国产化进程的浪潮下，实现数据交换都用到了那些技术？

本文主要介绍数据交换平台中所采用的技术和方案，使大家快速理解并掌握数据交换平台；以信创建设为切入点，着重探讨信创数据交换过程，成体系的对数据交换技术的难点与步骤进行详细说明与分析，为数据交换项目建设打下基础。

目    录

 

01 数据交换发展

02 数据交换架构

03 数据交换技术

04 总结

01

数据交换发展

1.1数据交换技术发展的趋势

信息技术应用创新发展是目前的一项国家战略，也是当今形势下国家经济发展的新动能。发展信创是为了近年来保障核心技术自主可控解决安全的本质问题，目前，国家在全国范围内各省、自治区、直辖市均建有大型或超大型数据中心。数据中心虽然用电量占全社会用电量的比例接近1%，却拉动了36.2%的国内生产总值，数据中心建设成为经济发展的新支点。

数据中心中存放有海量的数据，数据敏感性突出，之前的数据中心建设中对数据安全管控的意识还不强。数据交换系统采用国外厂商的产品套件及技术架构，存在极大的数据安全隐患。IT底层标准、架构、技术、接口、产品生态，均由国外IT商业公司制定，存在诸多的底层技术被限制的风险，技术方面无法自主定义和自主可控。国外的软件不支持国产的数据库和系统，面对定制化需求如适配生态、新增协议、熔断、限流、预警等功能时，定制困难，成本高昂。数据交换系统作为各业务数据交换的中枢系统，牵一发而动全身，由数据交换系统导致的安全问题，会直接影响到企业整个核心业务的信息安全。

基于以上的一些问题国产的数据交换系统逐渐发展起来，实现了新老交换系统的替换和平滑过渡，拥有自主可控的知识产权，能够适配国产的操作系统以及数据库。不仅能实现数据高效的交换更能够实现数据共享，推动业务创新。

1.2传统数据交换技术架构存在的问题

数据交换技术一共有三个阶段，分别是Extraction 抽取，Transformation 转换，Loading 装载。从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等。

传统的数据交换技术比较死板只能从一个数据源中抽取数据到目标数据源，中间只能做简单的过滤清洗和转换流程单一，在需要结合多个异构数据源同时进行数据同步的场景下无能为力，另外在许多情况下要做整库的迁移需要根据标的个数编写每一张表的迁移流程进行数据迁移，并且不能自动将目标数据源的表创建出来，造成大量冗余的工作，常常使开发人员望而却步。在传统的数据交换中面对实时同步数据的场景，许多数据交换系统不能提供实时抽取数据的组件或功能，不能应对新形势下数据发展的趋势。随着互联网以及大数据等诸多新技术的发展，传统的数据交换面临着许多挑战，如：

1.传统方式一般是以单表数据交换作为单位进行作业开发，随着企业中数据库以及表的增多这种方式的开发效率低下、容易出错。整库数据交换时工作量巨大

2.传统方式下开发交换模型只能手工一个一个进行，任务多、易出错。需要一种能够在同一种业务下批量进行开发的模式

3.在进行实时数据同步时需要许多额外的操作配合才能完成，过程复杂，对人员技术要求高，

4.在进行PB级数据交换时传统交换方式效率较低，需要很长时间才能完成。

5.传统的数据交换工具不具备业务化的开发能力，遇到相同的数据交换需求需要重头开发。

6.在安全保障上传统的方式是手工编写加密、脱敏的脚本来实现

02

数据交换架构

2.1基于元数据的新一代数据交换架构

数据交换平台不仅仅只是进行数据的交换，更是提供一种基于数据资源目录进行数据交换、数据共享和管理的一体化解决方案。通过目录化能够对企业内部现有的数据资源一目了然，平台内部集成了元数据引擎能够自动的获取资源的元数据信息形成资源目录，通过资源目录进