装载xml数据方式异常_数据交换服务组件介绍

数据交换服务组件，在遵循一定的交换策略条件下进行数据交换及消息传递，支持数据资源在不同单位、不同区域的快速交换和共享，提供配置工具生成交换节点，此外在数据传输过程中应保证数据完整性、安全性、可靠性和传输性能。

基于统一的数据服务配置出不同的数据交换方式

数据交换服务组件：支持全量、批量、实时的数据交换；支持大数据量的数据交换；支持复杂网络环境下的可靠数据交换；支持跨网段、跨单位的数据交换；支持基于通道、文件的加密传输；支持多种数据接口和传输协议；提供数据交换日志；支持断点续传功能。

(1)异构、异地的数据交换

提供基于流加工技术的数据交换和共享，在一个服务内实现数据库、文件、JSON、XML、传输队列、适配器等之间的相互交换。具有以下交换功能：

支持数据库：Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、FoxPro、Access等；国产数据库：达梦、人大金仓、神州数据库等。

支持SQL语句作为数据源。

No SQL的交换：支持与MongoDB的交换，支持与Hive的交换，支持与HBASE的交换，支持与Elastic Search的交换。

支持文件：文本文件(分隔符、定长等)、Excel文件、DBF文件、MDB文件等。分隔符文件要支持组合分隔符。能可视化配置文件与异构系统的交换。

支持XML， XML可以是文件，也可以是来源消息队列、API、 Web URL等。能可视化配置XML与异构系统的交换。

支持JSON， JSON可以是文件，也可以是来源消息队列、API、 Web URL等。能可视化配置JSON与异构系统的交换。

提供内存对象映射满足API、传输队列数据抽取。可视化定义内存表与异构系统的交换；可视化配置数据采集结果可输出到通道中，实现数据传输服务的绑定。

跨网段的数据交换能力。跨网段是指数据源和数据目标位于不同的网段，每个网段不能访问跨网段的数据库。能配置跨网段的数据交换服务；能实现跨网段的实时联动的数据交换；支持CLob字段、blob字段等。

(2)数据交换过程中的数据加工

数据交换过程中的数据加工，实现如下加工能力：

多种数据转换方法：包括字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换等。

交换过程中的数据质量检查，根据数据逻辑判断规则，将干净的数据装载到目标中，将判断有问题的数据路由到数据库表或者数据文件中。

多种逻辑处理，包括：格式匹配检查(如日期格式、数据格式、身份证格式、自定义格式等)、字符串逻辑检查(包含、以结束、以开始、在列表中、等于等)、内容为空检查、重复记录检查、范围内检查(如在列表内、字典或代码表内、包含、等于)、表表外键关联检查、逻辑检查(=、>、>=、

多种路由策略，路由条件可以是逻辑判断，也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、规则表达、是空、非空、在列表中、包含、开始为、结束为、为真、为假等方法。数据路由也可以是条件的组合，可以是and 也可以是Or。

(3)保证交换的可靠性、性能、实时性

支持断点续传。在数据交换任务运行过程中由于各种不确定原因造成网络中断，网络恢复后重新运行服务后保证数据一致。

支持实时交换。实现通过字符串报文、XML、JSON等格式实时交换数据。

支持通过分析日志捕捉变化数据的实时交换。支持数据库CDC技术,能捕捉指定表的变化数据，增量抽取变化数据，经过转换等处理后按照条件路由到多个数据目标中。

支持数据分组分块平行加工。在一个数据交换服务中实现数据分块及数据并行加工处理，保证加工性能。

(4)提供批量文件交换

提供文件传输服务功能。保证文件的可靠传输，主要实现如下功能：

支持对文件、文件夹、文件夹下指定文件等的传输。

提供变化文件传输功能，实现对文件夹含子文件夹的文件增量传输。

提供文件筛选功能，实现满足条件的文件传输。

提供多节点间文件接力传输功能，实现多节点间文件传输的联动。

实现文件传输过程加密、压缩、断点续传等功能。

支持一对一、一对多，支持同步、异步传输方式。

提供和外部FTP、SFTP的传输服务，方便给外部的FTP/SFTP文件服务器交换文件。

提供FTP文件传输服务，包括文件的上传和下载，支持文件和文件夹传输，支持变化文件传输、删除已传输文件等处理 。

提供SFTP文件传输服务，包括文件的上传和下载，支持文件和文件夹传输。

提供文件清理功能，方便整理文件存储空间主要实现如下功能：能压缩备份给定天数之前的文件，能删除给定天数之前的的文件。

数据交换工具介绍

亿信华辰基于自主研发的传输交换平台2.0产品，推出容纳多种多样数据格式，提供丰富数据处理与交换任务设计，提供可视化数据交换监控，统一、安全、高效的全局数据共享交换平台。该平台利用数据总线架构模式，承担全行数据传输的枢纽工作，统一维护行内各个系统之间的数据接口，统一协调数据资源，统一为各个系统提供数据交换共享。

其数据交换平台集数据交换任务管理、数据传输与调度及交换任务跟踪监控为一体，功能强大、使用便捷、运维高效，并支持通过该平台对银行企业网的数据交换进行全过程、高可控、高效率的跟踪和管理，进一步规范银行数据流转，提升数据共享水平，更加有效发挥银行数据资产价值。

平台总体架构图如下：