数据集成市场综述与市场定义描述(参考2007年Gartner数据集成工具魔力象限图)——第二部分

 市场定义/描述

数据集成工具市场由厂商提供的软件产品组成，它们能支持针对不同的数据集成场景下数据访问和分发基础架构的建设和实施，包括：

• 针对商务智能(BI)和数据仓库的数据获取(Data Acquisition)——从生产系统中抽取数据，转换并合并数据，并将其分发至统一数据结构下以便作为分析用途。BI和数据仓库保留了对数据集成工具的主要需求。
• 创建主统一数据存储(Integrated Master Data Store)——支持对数据的合并和关系化，展现诸如客户、产品和员工的关键业务实体。主数据管理可能是基于主题的，数据集成工具能用来创建确保成功的数据合并和同步过程。
• 数据移植/转换(Data Migrations/Conversions)——传统意义上基本是通过自定义代码来完成转换。现在，数据集成工具逐步解决数据迁移和转换的问题。
• 在生产系统间同步数据——与前几个场景的概念类似，数据集成工具提供了单向或者双向的跨应用(内部的或企业间的)确保数据库级别一致性的能力。
• 从不同数据存储中创建数据联邦视图——数据联邦，通常也称为企业信息集成(EII)，做为一种无需物理上移动数据，并且能跨不同数据源实时提供统一视图的方法，正逐步流行起来。数据集成工具正逐步包含此类型的虚拟联邦功能。
• 在服务中分发数据服务(面向架构的上下文(SOA))——数据服务更确切地说是一种架构技术，而不局限于数据集成中使用。数据服务是在SOA中担任和实现数据集成功能的新兴趋势。数据集成工具将逐步支持多种类型的数据服务。
• 结构化与非结构化数据的统一——本身同样也不是特定的用例，并且与上述各部分均相关。当企业试图分发全局信息基础架构来解决所有数据类型时，之前就存在，但如今发展很快的趋势是利用数据集成工具来合并包括结构化的和非结构化的数据源。

Gartner已定义了数据集成工具的厂商必须提供的几种类型的功能，以便为企业提供理想的价值来支持全范围的数据集成场景：

 

连接性/适配器功能(数据源与目标的支持)

与不同数据结构类型的交互能力包括：

• 关系型数据库
• 遗留的与非关系型数据库
• 不同文件格式
• XML
• 像CRM、SCM这样的打包应用
• 行业标准的消息格式，如电子数据交换(EDI)、全球银行间金融通信协会(SWIFT)与健康等级7(HL7)。
• 消息队列，包括应用集成中间件产品(如MQ)提供的消息队列和符合标准的产品(如JMS)。
• 半结构化的数据，如e-mail、网站等内容存储。

 另外，数据集成工具必须支持不同的交互模式，包括：

• 批量获取与分发
• 滴定粒度的获取与分发
• 捕获变化的数据(发现并抽取修改数据的能力)
• 基于事件的获取(基于时间或基于数据值)

 

数据分发能力

为不同模式的消费型应用、流程和数据库提供数据的能力，包括：

• 在不同数据存储间的批量数据物理移动
• 内存中形成联邦视图
• 通过封装的面向消息的移动
• 在同构或异构数据库管理系统和模式间的数据复制

另外，支持不同范围的延迟数据分发很重要：

• 定时批量分发
• 流/实时分发
• 事件驱动的分发

 

数据转换能力

针对不同复杂度的内置数据转换操作，包括：

• 基础转换，例如数据类型转换，字符串操作和简单计算
• 较为复杂的转换，例如查找和替换操作、聚合、总计、明确匹配并管理逐渐改变的维度
• 复杂转换，例如针对自由格式文本和多媒体的综合分析操作

另外，工具必须提供开发定制转换与扩展已有转换的工具。

 

元数据与数据建模能力

当元数据管理和数据建模越来越成为数据集成功能的核心，对其的需求包括：

• 从数据源、应用和其他工具中自动发现并获取元数据
• 数据模型的创建和维护
• 物理到逻辑模型的映射和关系化
• 通过图形化属性级别的映射定义模型间关系
• 通过图形化和表格格式创建并影响分析报表
• 开放的元数据存储，有与其他工具双向共享元数据的功能
• 跨不同工具实例的自动元数据同步
• 拥有通过客户自定义元数据属性和关系来扩充元数据存储的能力
• 支持需求定义活动的项目分发定义文档与设计原则
• 查看并在元数据上工作的业务分析/最终客户接口

设计和开发环境的功能

有工具支持规范与创建数据集成过程，包括：

• 图形化展现存储对象，数据模型和数据流
• 针对开发流程的工作流管理，解决了批准、提升等
• 基于角色与基于开发人员粒度的安全性
• 组级开发能力，例如版本管理及协作功能
• 支持跨开发人员及项目的重用功能，并便利对冗余的识别
• 测试与调试

数据监管能力(数据质量、数据浏览与挖掘)

随着时间的增长，需要拥有辅助理解与确保数据质量的机制，包括与以下内容的互操作性：

• 数据浏览工具
• 数据挖掘工具
• 数据质量工具

运行时平台功能

全面支持数据集成过程可能会部署至的硬件和操作系统，尤其是：

• 主机环境，如IBM z/OS
• IBM System i(AS/400)或HP Tandem
• Unix环境
• Wintel环境
• Linux环境

生产与管理能力

有工具支持充分的在线维护、管理、监控使用工具实施的数据集成过程，例如：

• 错误处理能力，包括预定义的和客户自定义的
• 监控运行时流程
• 通过运行时统计判断使用情况和效率，同样需要提供应用风格的接口以便查看与评估
• 安全控制，包括数据传输与管理过程
• 保证性能和可扩展性的运行时环境

架构和集成

在不同数据集成工具集组件之间的通用性、一致性和互操作性的程度，包括：

• 使用最小数量的产品来支持所有分发模式
• 通用元数据(单存储)与/或跨所有组件和数据分发模式的元数据共享能力
• 针对所有数据分发模式的通用设计环境
• 在不同分发模式下进行无缝透明切换的能力(最小工作量)
• 通过经验证的接口和强大的应用API与其他集成工具和应用户操作的能力
• 无论使用何种运行时架构类型都能有效支持所有类型的数据分发(集中式的服务器引擎或分布式运行时

 

支持服务的能力

鉴于对数据服务概念认知度的不断提高，数据集成工具必须拥有面向服务的特性并提供支持SOA的部署，例如：

• 能支持将所有类型的运行时功能部署为数据服务
• 管理数据服务的发布和测试
• 与服务库及注册交互
• 支持服务的开发与管理环境，例如能动态修改与控制工具运行时行为的外部工具和应用

2007年Gartner数据集成工具魔力象限图下载