数睿通2.0数据中台数据治理—元数据功能发布

数睿通2.0新增实时日志查看,完善数据治理模块,包括元模型、元数据采集和管理。这些增强旨在提升数据中台的效率和数据治理能力,为后续的数据血缘、数据质量和数据标准等功能奠定基础。用户可通过关注公众号获取最新源码和更新资讯。
摘要由CSDN通过智能技术生成

引言

数睿通 2.0 目前基本完成了数据集成,数据开发,数据服务三大模块,初步具备了拉数,造数,供数的能力。因为平台相关人员都是兼职开发,并非全职,所以进度没有那么快,这点希望大家可以理解。3 月份主要是完善了一下数据集成,添加了实时日志的展示,同时开发了数据治理模块 — 元数据的相关功能,主要包括元模型,元数据采集,元数据管理,数据治理模块还有数据血缘,数据质量,数据标准,数据清洗处于开发之中,四月中下旬应该可以再出一版,元数据是底层基础,地基打好了,剩下的功能开发起来会顺手很多。之前的功能就不做赘述了,首次了解的朋友可以查看我的往期文章,下面我们来看一下本次主要更新的功能吧。

数据集成 - 实时日志

之前的数据集成任务执行之后,无法实时获取任务的执行日志,不方便排查问题,所以本地更新添加了查看实时日志的功能,具体功能如下所示:
实时日志按钮
实时日志

数据治理 - 元模型

元模型可以理解为是描述元数据的数据,元模型分为内置元模型和自定义元模型,目前内置的元模型有数据库,数据表和表字段,内置元模型是固定的,不可更改,而自定义元模型则可以灵活扩展,达到自定义元数据的效果。
元模型-库
元模型-库属性

数据治理 - 元数据采集

通过元数据采集功能,我们可以指定需要采集的数据源,一次性或者定时采集目标数据源的元数据信息,支持全量和增量采集,全量则会保持元数据跟目标数据源完全一致,多余的数据会进行删除,增量则只会新增和更新数据,不会做删除操作。采集的时候会根据定义的元模型的属性信息进行采集。

元数据采集执行时会生成执行记录,通过执行记录可以查看采集的实时日志信息,帮助排查解决问题。
元数据采集
新增采集

采集记录
采集日志

数据治理 - 元数据管理

元数据采集之后,可以在元数据管理模块查看采集的元数据信息,帮助我们直观的了解元数据信息,目前开发中的数据血缘,数据质量等都依赖于元数据管理模块,它是整个中台的基盘,对数据治理起着至关重要的作用。
元数据管理

结语

这就是本次更新的主要内容了,看起来功能不多,但代码量却一点不少,数据治理在数据中台中至关重要,企业能不能管理好数据,用好数据,构建好自己的数据资产目录,都很大程度上依赖于数据治理,所以这块不能急于求成,慢工出细活,需要好好设计一下,数睿通从启动至今,得到了不少朋友的鼓励和认可,在这里由衷的表示感谢,这也是我们开发的动力源泉所在。

想要获取系统目前最新源码,部署指南等资料的朋友可以关注公众号 螺旋编程极客 加入我的知识星球,星球内可以获取到数睿通 2.0 的最新源码资料等,新功能发布之后也会第一时间分享,期待你的加入。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值