1. 定义
-
数据集成和互操作(DII)描述了数据在不同数据存储、应用程序 和组织这三者内部和之间进行移动和整合的相关过程。
2. 业务驱动因素
-
数据集成和互操作主要目的是为了对数据移动进行有效管理
-
管理数据集成的复杂性以及相关成本是建立数据集成 架构的原因
3. 目标和原则
目标
-
及时以数据消费者(人和系统)所需的格式提供数据。
-
将数据物理地或虚拟地合并到数据中心。
-
通过开发共享模型和接口来降低管理解决方案的成本和复杂 度。
-
识别有意义的事件(机会和威胁),自动触发警报并采取相应 行动。
-
支持商务智能、数据分析、主数据管理以及运营效率的提升。
原则
-
采用企业视角确保未来的可扩展性设计,通过迭代和增量交付 实现。
-
平衡本地数据需求与企业数据需求,包括支撑与维护。
-
确保数据集成和互操作设计和活动的可靠性。业务专家应参与 数据转换规则的设计和修改,包括持久性和虚拟性。
4. 基本概念
-
抽取、转换、加载(ETL)——数据仓库
结构化数据进数仓。数据仓库最终目标是BI
-
抽取
抽取过程包括选择所需的数据并从其源数据中提取。然后,被抽取 的数据会在磁盘或内存中的物理数据存储库中进行储存。
-
转换
转换的例子包括:
格式变化
结构变化
语义转换
消除重复
重新排序
-
加载
加载过程是在目标系统中物理存储或呈现转换结果。
-
-
抽取、加载、转换(ELT)——数据湖
结构化和非结构化数据可以进数据湖。数据湖最终目标是AI
如果目标系统比源系统或中间应用系统具有更强的转换能力,那么 数据处理的顺序可以切换为ELT——抽取、加载、转换
用ELT的方式加载至数据湖,这在大数据环境中是很常见的
-
应用场景
-
数仓:结构化,ETL,BI,已经发生的事件的总结
-
数据湖:结构+非结构,ELT,AI,对未来的预测
-
-
-
映射(Mapping)
-
是转换的同义词。它既是从源结构到目标结构建立查找矩阵的过程。也是该过程的结果
-
-
时延
-
是指从源系统生成数据到目标系统可用该数据的时间差
-
时延决定了你可选用的ETL的方法
-
数据处理方法
-
批处理(ETL)
-
变更数据捕获 (CDC)
-
准实时和事件驱动(Near-Real-Time)
-
大多数未采用批量方式的数据集成解决方案都是使用准实时或事件 驱动的方式。
-
异步
-
实时,同步
-
低延迟或流处理
-
-
5 交互模型
定义:描述了在系统之间建立连接以传送数据的方式
类别:
-
点到点
-
中心辐射型
-
发布与订阅
6 数据集成和互操作架构概念
-
应用耦合
描述了两个系统交织的程度。
-
编排和流程控制(描述在一个系统如如何编排任务流)
编排(Orchestration)是一个术语,用来描述在一个系统中如何组织和执行多个相关流程。所有处理消息或数据报的系统,必须能够管理这些流程的执行顺序,以保持一致性和连续性。
-
企业应用集成
-
企业服务总线(ESB)在中国叫数据中台
-
面向服务的架构
7 数据交换标准
-
国家信息交互模型(NIEM):是为在美国政府机构之间的交互文件和交易二开发的数据交换标准
8 度量指标
-
1)数据可用性
-
2)数据量和速度
-
3)解决方案成本和复杂度
ETL软件:
-
Kettle
-
DataX
-
Informatica
-
Talend
-