DataBuilder2.3.2 重磅发布，核心功能全面升级，引领数据治理新高度！

在信息爆炸的时代，数据资产的有效管理是企业赢得竞争优势的关键。然而，数据本身并不等同于价值；唯有通过卓越的数据管理，数据才能转化为有用的信息，为企业带来真正的商业价值。

数造科技匠心打造的一站式数据开发管控平台 DataBuilder，正是企业驾驭数据浪潮的得力助手。它是行业领先的 DataOps 平台，致力于帮助企业快速构建从数据接入到数据产品的端到端新一代数据平台，集数据摄取、设计、开发、运维、治理及服务于一体，全面覆盖数据生命周期的每一个环节，助力企业轻松驾驭数据资产，实现其价值最大化。

此次版本更新，我们聚焦于企业数据资产的盘点、精细化治理和数据服务能力的提升，通过 DataBuilder 平台实现数据资产的可见、可懂、可信、可用，帮助企业解锁数据的无限可能，促进数据资产的价值最大化。

在 DataBuilder 2.3.2 版本中，我们发布了多达 5 大模块的几十项核心功能的升级与更新，涵盖了规范设计、数据地图、个人工作台、数据专辑、资产目录、数据标准、数据质量、数据服务等模块，旨在全面提升用户体验和系统性能。

一、数据架构

我们通过前期对金融、零售、制造、医疗等多个行业的客户回访以及多年业务积累，沉淀了一套企业数据架构设计方法论。本次更新也对规范设计模块进行重构，更新数据层次、主题域设计、服务目录设计等功能。

1、主题域

根据行业特性系统预设“L1-主题域分组”、“L2-主题域”和“L3-业务实体”三层主题架构。新增数据 Owner、数据管家、业务归口人、技术负责人等管理属性，从上而下，责任到人，以全局视角去管理数据、使用数据，更好地满足企业合规要求。主题域新增完成后即可在数据开发、数据建模和数据资产管理中引用。

主题域设计

2、企业服务目录管理

面向企业数据服务共享和开放的要求，提供服务目录管理功能，用于管理和组织企业或组织内外部的各种数据服务，促进数据在企业内外部的流通和共享，提高数据资产的价值，支持业务发展和创新。

服务目录设计

二、资产盘点

在这一板块，我们分别对元数据采集、数据地图、元数据编辑、资产目录、资产专辑，资产分析及个人工作台等七大功能进行了优化与升级。

1、元数据采集

我们重新梳理定义元模型属性清单，涉及表、模型、指标、API 四大资产类型，同步调整离线开发、数据服务、数据建模、数据资产、数据地图等页面属性展示、交互及元数据采集加工方式。

对于平台内部的指标、模型、API 等元数据采集，平台会监听元数据变化，实时将变化的元数据通过实时队列方式向统一元数据中心发送元数据新增/变更消息；

对于数据底座库、表、字段的元数据采集，进一步优化元数据采集流程，改用 FlinkSQL 进行元数据采集和加工处理。通过元数据采集架构的升级，实现了准实时的元数据采集，同时也提升了元数据的一致性和准确性。

2、 数据地图

我们可通过数据地图对数据资产进行管理与盘点，以更好地了解和使用数据。数据资产盘点有助于明确数据价值、改进决策、确保数据质量、加强数据安全和合规性，提高数据管理效率。

数据地图提供了资产信息全文检索入口，按照业务分类来管理数据，快速识别各类数据以便进行数据梳理分析，输出数据的业务含义、标签、schema、分区、元数据比对、数据血缘、生命周期、数据使用等情况，帮助您更好地查找和理解数据。

数据地图

表资产详情页

不同表元数据比对

表数据血缘

3、 元数据编辑

在完成全面数据盘点之后，需要补充相关信息的业务元数据、技术元数据、管理元数据，以完善数据属性。用户可通过点击“编辑”按钮，对资产的元数据属性进行补充，补充数据资产元数据属性以提供后续实现资产分门别类的基础资源。

支持元数据进行编辑

4、资产目录

企业可根据调研结果或对数据的基础判断，梳理和构建资产清单和资产目录。我们通过引入资产专辑将“自定义资产目录”与主题域资产目录进行有效区分。在资产目录和资产专辑中，用户均可以按照目录形式查看已提前归类好的资产清单。

资产目录是按照业务主题及服务目录的层级结构，以目录形式展示平台内的各类型资产列表及详情，方便业务人员从主题域、业务对象、业务流程、服务目录等业务视角快速找到自己想要的数据资产。

资产目录

5、资产专辑

与资产目录不同，资产专辑允许用户创建和管理自定义资产目录，并支持将所有类型的资产挂载到资产专辑中。企业可根据自身的业务需求随时调整目录结构，更好地满足企业日益复杂的业务场景。

资产专辑

挂载资产

6、资产分析

增加了全局视角、主题域视角、服务目录视角，支持查看各视角下资产分布情况、资产类型占比、资产热门指数、资产变化趋势等。

资产分析

7、个人工作台

我们还新增个人工作台功能，个人工作台着重体现数据 Owner、数据管家、业务归口人、技术负责人等角色对数据资产的管理属性。同时还可通过“我的资产”、“我的足迹”、“我的收藏”、“申请记录”等功能了解资产状况，支持对资产进行批量编辑标签、主题域、所属部门等操作，让您更好地管理自己的资产。

个人工作台-我的资产

个人工作台-我的足迹

三、资产治理

此外，我们还可从数据治理角度出发，帮助企业识别和修复数据中的错误和不一致性，提高数据的准确性和完整性，从而为数据分析和应用奠定基础。

数据治理的核心组件是确保数据的质量、安全和合规性。首先，数据质量管理确保数据准确、完整、一致和可靠。其次，数据安全和隐私保护确保数据不受未授权访问、使用、披露、篡改和破坏，并遵守相关隐私法规，保护用户隐私。

1、数据标准

丰富数据标准的属性，包含基本、业务、技术、管控等属性信息，增加标准版本管理和版本比对功能，支持对已发布的标准版本进行在线修订和更新，以便更好地对数据标准进行全生命周期的管理。

新增参数说明

版本管理

支持在数据建模中引用数据标准，模型发布时会自动检测模型、指标引用的标准版本是否更新，并向用户展示合理的更新建议，以规范数据建模的整体流程。

模型引用标注

发布物理化校验

2、数据质量

优化了质量概览，可了解全局视角和主题域视角上的监控情况，核验表总数、核验字段总数、核验规则总数、核验进度、核验进度、合格率、告警趋势、表告警 top 排名等。

数据质量概览

核验任务概览

3、数据安全

支持对数据密级、敏感类型、脱敏规则、脱敏数据进行配置，确保数据安全。

数据密级列表

四、数据服务

我们还对服务开发模块进行重构，简化 API 整体开发流程，开发过程新增适配更多数据源类型，包括：GaussDB、Clickhouse、StarRocks、TiDB、Teradata、DB2、Impala、Kudu、HBase。

新增高级 SQL 开发模块，通过 Mybatis 标签设置请求参数是否为非必填；新增分页模式，启用分页后系统将自动添加分页参数（包括页面大小、当前页号、排序字段），支持更灵活的 API 调用场景。

SQL 编写

此外还增加了 API 全生命周期管理，到期将向告警联系人发送通知并自动下线 API 或自动下线并删除 API，及时释放空闲资源，实现资源利用最大化。

生命周期配置

增加容器动态资源配置等特性，通过引入 K8S 的 Metrics Server 插件支持容器自动伸缩功能，当 API 访问并发大时，会自动扩大容器资源，以保证应用的稳定调用。当空闲时,也会自动收缩容器资源,保障资源的最大利用。

容器动态资源配置

通过 API 的生命周期管理和 API 容器的动态资源配置，解决以往 API 占用资源大，且不释放等问题，更合理地管理分配资源，以满足更复杂的业务应用层的服务调用需求。API 开发完成后，后续可在 API 管理中对“我的 API”进行管理，包含“我发布”、“我审核”的 API，以及相关的 API 统计数据。

API 管理-我的申请

API 管理-API 统计数据

五、其他功能优化

除了上述四大模块，我们对以下功能也进行了升级与优化。

1、控制台

● 项目配置-数据源管理：根据应用场景（数据集成/实时开发/服务开发）梳理平台已支持的对应场景的数据源类型；

● 规范设计-数据层次设计：数据层次与主题域解耦，二者不再相互绑定；

● 工单管理：展示全流程审批节点/审批人/审批时间和详情，便于快速找到审批人，提高工单审批效率

● 消息中心：系统通知新增服务生命周期管理相关通知类型；

● 项目空间：优化首页项目空间卡片样式，子系统入口合并为两行，简化用户操作路径；

● 组织管理：新增组织时同层级重名不支持新增，不同层级同名会提示组织名已存在但允许新增；

● 管理控制台模块、数据工厂、数据资产、调度监控等所属组织信息显示全路径，防止不同层级下相同组织名称无法区分。

2、数据服务

数据服务-K8S 节点管理，K8S 节点列表页面新增资源统计相关展示，包括 CPU 总数(cores)、CPU 使用率 %、内存总数(bytes)等。

3、资产分析

元数据管理新增元数据比对功能，支持查看生产态任意两张表的元数据比对，并以不同颜色进行区分。

小结

DataBuilder 2.3.2 版的重磅发布，标志着我们在数据架构、资产盘点、资产治理及数据服务等多个维度实现了新的突破。本次升级，不仅显著增强了平台的功能性和用户体验，也进一步提升了系统的整体表现，为企业在数据海洋中导航，提供更为坚实的技术支撑，引领企业迈向数据驱动的未来，实现数据资产价值的倍增效应。