一文读懂元数据:属性与分类

一、元数据的定义及分类

元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。

在信息技术之外的领域,如在图书馆或信息科学中,元数据被描述为不同的类别:

1)描述元数据(Descriptive Metadata)。描述资源并支持识别和检索,如标题、作者和主题等。

2)结构元数据(Structural Metadata)。描述资源及其组成组件之间的关系,如页数、章节等。

3)管理元数据(Administrative Metadata)。用于描述管理生命周期的元数据,如版本号、存档日期等。

在数据仓库领域中,元数据按用途分成技术元数据和业务元数据。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。

 元数据的基本特点主要有:

1.元数据一经建立,便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境;元数据的开发与利用环境往往是一个变化的分布式环境;任何一种格式都不可能完全满足不同团体的不同需要;

2.元数据首先是一种编码体系。元数据是用来描述数字化信息资源,特别是网络信息资源的编码体系,这导致了元数据和传统数据编码体系的根本区别;元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。

二、指标数据定义及属性分类

参照《数据标准化:数据治理的基石》一书,数据指标是说明总体数量特征的概念,反映了企业的日常经营管理过程。一般从业务属性、管理属性、技术属性等角度制定指标标准。指标的标准化是加强数据治理和管控中最基础的工作,通过指标标准化,我们可以得到数据的业务价值,技术价值与管理价值。

一般来说,指标分为基础指标、复合指标和派生指标三类。

基础指标是表达业务实体原子量化属性的概念集合,是可以直接对单一变量的明细数据进行简单计算得到的不可进一步拆解的指标。

复合指标是建立在基础指标之上,由若干个基础指标通过一定运算规则计算形成,在业务角度无法拆解,如“签约率“,“利润率”。

派生指标是基础指标或复合指标与一个或多个维度值相结合产生的指标。如“月计划调运量"“月日均销售量”等。

维度是报表分割显示统计数值的角度,主要用来描述在业务活动中会从哪些角度对标准项进行使用和分析,体现为报表的一行或者表头中的一列。一般来说,维度具有离散化取值的特性,即取值可以枚举。维度作为观察事物的视角,并不孤立存在,而是通过与指标结合使用,可以对指标的不同方面进行对比与分析。常用维度包括时间、空间、组织机构、业务类别等。

指标数据标准规定了指标数据标准的业务属性、技术属性和管理属性标准,可应用在企业报表编制、数据资产管理等相关领域。

根据数据管控需求和业务运营情况,同时考虑标准的编制参与人员、分期制定过程、标准应用场景等诸多因素设置属性梳理优先级,其中由业务人员提供或确认的属性称为基础属性,需要结合技术人员、管理人员后续进行补充的属性称为扩展属性,

三、指标数据标准中的属性分类和元数据的分类的关系

从背景和功能上说元数据是描述和解释数据的,它有自己的功能和作用。而指标数据标准中的属性分类是为了便于技术、业务和所有者对指标数据属性的管理而划分的。两者的背景和作用是不同的。

在数据指标标准中定义的管理属性不宜用管理元数据替代,比如主责部门、标准管理部门是业务元数据的范畴。而管理元数据往往用在图书馆类似的场景下。所以,为了避免引起歧义和冲突的情况,建议指标数据标准中对于属性的分类还是用业务属性、技术属性和管理属性。

对于专门从事数据管理的人员来说更应从基本概念和本质厘清不同术语,比如主数据、元数据、数据元、数据仓库、数据中台、大数据、数据湖、湖仓一体、数据网格、数据编织等,这样才能更好的引导业务一起开展数据管理工作。数据管理不是IT人员唱独角戏的舞台,而是需要业务和技术更好协助,理念一致、方法一致、行动一致,才能把数据管理工作做好,更大发挥数据的价值。

​部分内容来源于网络,如有侵权请联系删除。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Yolov5 是一种广泛应用于目标检测的算法,其 loss 原理相对简单。Yolov5 通过将目标检测问题转化为一个回归问题,通过预测 bounding box 的坐标来实现目标检测。 Yolov5 的 loss 主要包括三个部分:分类损失、定位损失和目标置信度损失。 分类损失是用来衡量预测的类别与真实类别之间的差异。Yolov5 使用交叉熵损失函数来计算分类损失。对于每个边界框(bounding box),它将计算预测类别的 softmax 概率与真实类别的 one-hot 向量之间的交叉熵。 定位损失用于衡量预测的边界框位置与真实边界框位置之间的差异。Yolov5 使用 Smooth L1 损失函数来计算定位损失。它通过对预测边界框的坐标与真实边界框的坐标之间进行平滑处理,减小了异常值的影响。 目标置信度损失用于衡量预测的边界框与真实边界框之间的 IoU(Intersection over Union)之间的差异。Yolov5 使用 Binary Cross-Entropy 损失函数来计算目标置信度损失。它将预测的边界框是否包含目标与真实边界框是否包含目标之间的差异进行衡量。 最终,Yolov5 的总损失是通过将三个部分的损失加权求和得到的。这些权重可以根据具体的任务和数据集进行调整。 通过最小化 Yolov5 的 loss 函数,模型可以学习到更准确的目标检测结果。这样,我们就可以在图像中准确地检测和定位不同类别的目标。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值