详解数据架构的七类视图(多图+案例)

数据架构是业务与应用系统建设的桥梁:数据架构基于业务架构(业务模式、流程、规则等)识别出业务数据需求,统一数据语言及操作手段,作为应用系统的应用架构(系统功能、组件、接口等)和技术架构(技术指标、技术选型等)设计和开发的依据。

一、企业架构概述

企业架构的四横五纵。

“四横”指按架构的详细程度、设计时间以及关注人员的不同所自上而下分为的四个层次。

“五纵”指架构核心内容由业务、应用、数据和技术四领域构成,辅以科学的管控体系保障架构落地。

“四横”和“五纵”之间形成自上而下细化,自下而上遵从,架构管控对架构内容保障的“V模型”。

企业架构框架的内容包括架构元模型和架构视图,以架构元模型为内在结构,架构视图为外在表现形式。

二、企业架构元模型

元模型是词典,是企业架构的结构。对于架构中的各种概念,形成规范的、清晰的定义(如:业务流程、功能、数据实体、系统等),使参与架构设计的人员使用相同的概念。

定义存在于不同架构元素之间的关联关系(关系定义,分类,属性等),使不同架构领域和层级之间能够相互引用和验证。架构元模型使架构信息能够以结构化的形式保存。企业架构元模型,定义了架构元素以及架构元素之间的关系。

数据架构相关的架构元素:

三、数据架构

数据架构共七类视图。

1、数据主题域视图

2、数据主题域关系视图

3、概念数据模型视图

概念数据模型视图-财务总账部分

4、数据流转视图

数据分布与流转视图-基建管理应用部分

5、逻辑数据模型视图

6、数据分布视图

7、物理数据模型视图

四、小结

数据架构描述了组织的逻辑和物理数据资产和数据管理资源的结构。它是企业架构的一个分支,包括管理组织中数据的收集、存储、排列、集成和使用的模型、策略、规则和标准。数据架构的目标是将业务需求转化为数据和系统需求,并管理数据及其在企业中的流动。如今,许多组织都在寻求对其数据架构进行现代化改造,以此作为充分利用 AI 和实现数字化转型的基础。

以下几种企业架构框架通常用作构建组织数据架构框架的基础:

DAMA-DMBOK 2. DAMA International 的数据管理知识体系是专门用于数据管理的框架。它提供了数据管理功能、可交付成果、角色和其他术语的标准定义,并提出了数据管理的指导原则。

Zachman 企业架构框架。Zachman 框架是 1980 年代由 IBM 的 John Zachman 创建的企业本体。Zachman 框架的“数据”列包含多个层次,包括对业务重要的架构标准、语义模型或概念/企业数据模型、企业/逻辑数据模型、物理数据模型和实际数据库。

开放组架构框架 (TOGAF)。TOGAF 是一种企业架构方法,为企业软件开发提供高级框架。TOGAF的C 阶段包括开发数据架构和构建数据架构路线图。

Hudi(Hadoop Upsert Delete and Incremental)是一个构建在Hadoop上的开源数据架构,它提供了类似于数据库的upsert、delete、incremental等操作,同时支持流处理和批处理。Hudi与Flink的集成可以实现数据湖的实时计算和增量处理。 在Hudi和Flink的集成案例中,我们可以使用Flink作为流处理引擎,实现实时数据的读取和写入。具体步骤如下: 首先,我们需要将输入数据源和输出数据源与Flink进行集成。Flink可以读取来自不同数据源的数据,例如Kafka、Hive、HBase等。在我们的案例中,我们需要将Hudi作为输出数据源,因此需要实现一个自定义的Flink Sink函数,用于将Flink的输出数据写入Hudi。 其次,我们需要在Flink中编写业务逻辑,用于对输入数据进行实时计算和增量处理。Flink提供了丰富的API和算子,可以方便地进行数据转换、聚合、过滤等操作。在我们的案例中,我们可以使用Flink的Map和Filter算子,对输入数据进行转换和筛选,然后将结果数据写入Hudi。 最后,我们需要在Flink中配置和管理Hudi的相关参数。Hudi需要使用一些配置信息,例如数据存储路径、数据表的主键、分区字段等。我们可以通过Flink的配置文件或命令行参数,将这些配置信息传递给Hudi。 通过以上步骤,我们可以实现Hudi和Flink的集成。当输入数据流进入Flink时,Flink可以对数据进行实时计算和增量处理,并将结果数据写入Hudi。这样就可以实现对数据湖中的数据进行实时查询和分析。 通过Hudi和Flink的集成,我们可以充分发挥两者的优势,实现高效、实时的数据处理和分析。使用Hudi可以保证数据湖的数据一致性和可更新性,而使用Flink可以实现实时计算和增量处理。这样的集成方案可以在企业中广泛应用,为数据团队提供更好的数据架构解决方案。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值