第一章 数据架构(Data Architecture)
数据架构介绍国际上DAMA 跟IBM 关于数据架构的描述。
(1)DAMA:数据架构被视为数据管理框架,定义数据的组织、结构、流程和政策,以支持数据的生命周期管理,包括数据的创建、存储、访问、保护和销毁。
(2)IBM:IBM认为数据架构视为企业架构组成部分,数据架构包括数据模型、数据流、数据存储和数据访问策略,以及如何通过技术实现这些策略,确保数据的可用性和质量。
第二章 数据架构关键组件
数据架构的四个关键组件主要包括:(1)数据资产目录;(2)数据标准;(3)数据分布流向;(4)数据模型。
(1)数据资产目录(Data Asset Catalog)
数据资产目录定义:全面的数据库或注册表,记录组织内所有数据资产的详细信息,具体包括数据源、数据类型、数据格式、数据所有者、数据使用情况等。
数据资产目录建设目标:提供数据的发现性和可访问性,使得数据用户能够快速找到所需的数据资源,并理解数据的背景和用途。
数据资产目录治理及合规:有助于数据治理和合规性,确保数据的正确使用和维护。
(2)数据标准(Data Standards):
数据标准定义:定了公司数据格式、结构、命名约定和质量要求,确保数据一致性和准确性。
数据标准内容:主要包括数据定义、数据类型、格式规范、编码规则和数据质量度量
数据标准实施作用:通过实施数据标准,组织能够减少数据冗余,提高数据的互操作性和重用性。
(3)数据分布(Data Distribution):
数据分布范围:涉及数据不同系统、位置和平台之间的存储和访问方式。
数据分布内容:主要为数据复制、数据同步、数据迁移和数据分发策略,确保数据在需要时能够被正确地访问和使用。
(4)数据模型(Data Model):
数据模型定义:数据架构中定义数据元素及其关系的蓝图,包括概念模型、逻辑模型和物理模型。数据模型是数据库设计和开发的基础,对于确保数据的组织、完整性和性能至关重要。
概念模型(CDM):提供数据的高层次视图,不涉及具体的技术细节。
逻辑模型(LDM):细化概念模型,定义数据精确结构关系,不涉及存储细节。
物理模型(PDM):涉及具体数据库实现,涉及数据存储方式和访问路径。
第三章 数据架构规划及落地
数据架构规划旨在确保组织的数据资源能够有效地支持业务目标和需求,为系统化过程。数据架构规划主要包括:(1)需求分析;(2)概念设计;(3)逻辑设计;(4)物理设计及实现;
(1)需求分析(Requirements Analysis):
业务需求及诉求:主要包括识别数据需求、数据使用场景和性能要求,识别业务需求、目标及痛点。以及对现有数据环境的评估,以确定现有数据架构优势和
(2)概念设计(Conceptual Design):
高阶数据架构概念框架:根据需求分析内容,架构师创建高层次的数据架构概念设计,主要包括:数据模型的概念框架、数据分类和数据流的高层次视图
概念设计目标:确保所有关键利益相关者对数据架构的总体方向和目标有共同的理解。
(3)逻辑设计(Logical Design):
将概念设计转化为更具体的逻辑模型:详细定义数据元素、实体关系、数据类型、数据结构和数据流程。逻辑设计还包括定义数据存储需求、数据访问策略和数据安全要求。
(4)物理设计和实施(Physical Design and Implementation)
逻辑设计转化为具体技术实现:包括选择数据库系统、确定数据存储结构、索引策略和硬件配置。
其它:数据迁移计划、数据集成策略和数据治理框架的实施,以及对数据架构的持续监控和优化。
(5)维护和迭代(Maintenance and Iteration):
架构的持续维护和迭代:确保架构满足并适应业务需求的变化和技术进步。具体包括定期审查数据架构的性能,更新数据模型以反映新的业务需求,以及优化数据存储和访问策略。
以下部分为数据/信息架构的描述: