软信天成六步指南:创建面向未来的数据架构(二)

在上篇六步指南:创建面向未来的数据架构(一)中,软信天成分享了数据架构的三大核心部分,即基于云计算的数据平台、实时数据处理、模块化的应用平台。本篇将从余下内容和如何系统的创建数据架构进行详细阐述。

一、实现解耦和灵活性

伴随着企业的扩增和业务团队的扩大,数据开放性和共享性面临诸多挑战。传统数据架构通常采用点对点的数据访问方式,渐渐地难以面对业务团队大量而复杂的数据需求,更别谈数据开放与共享,所以企业迫切需要采取新的访问方式实现解耦和灵活性

API管理平台(API网关)

API网关是用于创建和发布以数据为中心的API、实施使用策略与访问控制、以及服务使用状态和性能评价的必要平台。通过这一平台,数据团队和业务团队可以直接搜索现有数据接口并使用,而无需重新构建接口。API网关虽通常是作为独立区域嵌入数据中心,但也可以作为独立功能开发到数据中心之外。

数据湖/数据网格

为实现解耦,除了在内部建立API网关外,还需要在外部建立用于缓冲的数据平台,如数据湖、数据网格、数据仓库一类,主要为每个业务领域的预期数据使用和工作负载而创建。

优点

API网关和数据湖/数据网格等组件使用有利于实现解耦和灵活性,即在保证数据安全的情况下,有效加快数据访问速度,提高团队协作效率。

二、分布式域驱动架构

许多数据架构领导者已经从企业数据湖转向“域驱动”的设计,采用定制化的方式,适应数据产品和服务变化的需求,从而缩短产品上市时间。在这种设计中,虽然数据集可能依然存在于同一物理平台,但是每个业务领域(销售、运营等)中都有一个“产品所有者”负责组织数据集,以便供域内的用户和其他业务领域中的下游数据消费者使用。

优点:它可以减少预先在数据湖中构建新数据模型所需的时间,最短可以在几天内快速契合业务结构。

为了更有效地实现基于分布式域的设计驱动数据架构,下面列出了一些启用概念和组件

数据基础设施

提供通用工具和功能,让数据生产者不用再自己建平台来存储和管理数据资产,可以大大加快实施速度。

数据虚拟化技术

最初应用于利基领域,如客户数据等,如今已成为企业组织对分布式数据资产进行访问和集成的重要手段。

企业数据目录

企业数据目录提供用户搜索和数据浏览服务,提供元数据定义和端到端接口,以简化对数据资产的访问。

三、灵活、可扩展的数据模式

传统的数据模型通常是由厂商预定义的通用数据模型,或者针对特定需求而设计的专用数据模型。然而,无论是哪种模型都需要建立在高度规范化的模式中,通过严格而精准的数据库表和数据元素来实现最小冗余度,但凡有任何的误差都可能影响数据的完整性。

为了更灵活、便捷地开发数据以支持高级分析,企业正在向“轻模式”的方向发展,即利用少量物理表的非规范化数据模型来组织数据,以此获得最佳性能。

数据仓库2.0技术:可以确保数据模型是可扩展的,以便将来可以在有限的中断下添加或删除数据元素。

图形数据库:近年来备受关注的图形数据库,是一种NoSQL。NoSQL泛指非关系型的数据库,其种类繁多,但有一个共同的特点就是都去掉了关系数据库的关系型特性,数据之间无关系,容易扩展,无形间也为数据架构带来了可扩展的能力。

1. 适合应用在大规模需要可扩展性和实时功能的数据程序中;

2. 也可以使用图形数据库构建主数据存储库,以适应不断变化的信息模型。


那么企业到底该如何系统的开始呢?在软信天成看来,企业应直接实践,以快速评估和部署新技术,从而更快地适应市场。

系统实施

1、在构建架构时,应当秉持测试和学习的态度,并尝试采用不同的组件和概念。建议企业在构建初期,不要花过多的时间在产品、设计和厂商上,可以从较小的预算开始,或者将现有的开源工具组合在一起,我们的目标是先创建一个过渡产品并投入使用,通过不断地测试来吸取经验,为后续创建更好的架构而奠定实践基础。

2、建立数据团队。由数据管理人员、数据建模人员、数据工程师等组成的数据团队负责构建数据架构。在团队内,需要制定标准化工作流程以支持高度精确的数据集开发,为后续建模做好准备。

3、投资于数据运营,有助于加速数据架构中新组件的设计、开发和部署,以便团队可以根据反馈及时更新解决方案并实施。

4、在企业内部培养数据文化。数据文化作为企业文化的一种形态,意味着企业管理人员和员工具有同一数据观念和行为:愿意支持、推进对数据的使用,并认为数据是重要资源可以驱动业务发展,可以提高决策的准确性和效率。因此,为更好地培养数据文化,数据战略与业务目标需要完全一致。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值