随着信息技术的飞速发展,为企业运营提供支持的 IT 系统越来越多,同时产生了越来越多的数据,但是这些数据都是相对孤立的,只在特定的应用环境下才会体现出它的价值,并没有综合起来产生有用的信息,为此出现了“数据爆炸,知识贫乏”的窘迫局面,如何充分的利用和有效的整合现有系统的数据资源成为了企业提高核心竞争力的关键。
DataService 是 SynchroESB3.0 中的一个数据服务平台,是西安协同时光软件有限公司自主研发的。它可以为企业提供一整套数据集成解决方案,采用插件式( plug-in )体系架构降低企业数据集成成本,有效利用企业现有资源,是一个敏捷、灵活的企业级数据整合平台。
DataService 是一个数据服务平台,它具有 ETL 的功能,能够按照统一的规则集成并提高数据的质量,通过图形化工具快速灵活地设计与部署实现数据的抽取、转换、加载等功能。 DataService 由运行容器、业务模型、任务调度、元数据仓库和图形化设计界面五部分构成,为企业数据集成提供一套完整的解决方案。
Ø 运行容器,底层运行容器是 DataService 工作的场所,在这里对数据进行转换、清洗、映射等操作。
Ø 业务模型,业务模型提供了一系列组件,完成了对数据的抽取、转换与加载的操作,支持 Oracle 、 DB2 、 MSSQL 、 MYSQL 等多种数据库以及文本、 XML 等多种数据源的读写。提供了一套功能强大的转换组件,以拖拽的方式完成数据映射、清洗、拆分等一系列复杂操作。
Ø 任务调度,任务调度完成了对业务模型的调度工作,提供定时、验证、脚本、协议等一系列组件可灵活的运行业务模型。
Ø 元数据仓库,元数据仓库存储了 DataService 中所设计的所有流程信息以及建立的数据库连接信息。
Ø 图形化设计界面,在 DataService 的图形化设计界面可快速灵活地设计并部署流程。人性化的设计界面带来更好的操作体验,可让用户感受到在企业数据集成中使用 DataService 所带来的便利。
DataService 的适用范围广泛,即可以作为数据仓库与源数据库之间的数据桥梁,也可以作为业务数据流转的通道。
在数据仓库系统中,将源数据库向数据仓库迁移是一个复杂的工程,既要保证数据的完整性又要对垃圾数据进行清理,数据的格式也要进行适当的转换。使用人工编码的方式往往投入和回报不成比例而且难以维护,无法适应企业数据仓库复杂多变的业务需求。基于元数据驱动的 DataService 以拖拽的方式完成复杂的转换逻辑,无需任何编码流程可任意更改,对建立企业数据仓库提供了强有力的支持。
作为业务数据流转的通道, DataService 更是提供了多种传输协议,满足分布式应用的需求, DataService 可以在流程中植入脚本功能以实现复杂的业务逻辑。