数据集成方案

也称ETL、对跨部门的业务数据进行抽取、合并、清洗标准化，处理后的数据可以存入主数据存储库向各个业务系统提供一致的数据视图（主数据管理），也可按照主题数据格式存入大数据平台进行数据分析、挖掘（数据仓库、大数据）。数据集成常见问题如下：

1 涉及部门众多，数据接口类型多样化。

2 顶层设计缺失或历史原因，数据缺乏统一标准，信息孤岛、数据碎片化现象严重。

3 数据冗余、数据不一致、错误数据等系列问题使得数据质量低下，难以有效检索利用。

4 对于随时变化的业务数据，如何将其高效合并到主数据存储或数据仓库存储中。

采用灵蜂数据集成软件BeeDI实施数据集成项目，具备如下优势：

1 软件支持广泛的数据接口，支持对各类主流数据库（Oracle、DB2、SQL Server、MySQL、PostgreSQL、Informix、MongoDB、Redis、Teradata、SAP Hana等）、外部文件（文本、XML、Excel）、大数据存储（Hive、HBase）、消息服务器（Kafka）进行读写访问。

2 软件提供数据联邦功能，可以跨库合并业务数据。支持各种映射转换，如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并等。

3 软件支持基于规则的数据清洗、过滤、转换等功能，简洁直观的图形操作界面帮助用户高效实现数据标准化。

4 软件提供时间戳、触发器、日志解析等增量抽取方式，支持对增量数据进行各种清洗转换处理，处理后的数据可以存入数据库、大数据存储或发送到Kafka消息服务器。

5 软件提供工作流调度功能，用于调度管理相关任务的执行顺序、触发条件、异常逻辑等。