atbigapp的博客

元模型（MetaModel）是用于描述和定义其他模型结构、语义和行为的高层次抽象模型，由实体、属性、关系和规则组成。元模型的起源可追溯至1989年国际对象管理组织（OMG）为解决软件开发中的元数据管理需求而提出的MOF（Meta-Object Facility）概念。MOF于2002年成为OMG建模规范的一部分，并于2005年成为国际标准。MOF框架采用四层架构（M0、M1、M2、M3），支持开放性、互操作性和扩展性，是UML和MDA等架构的基础。通过元元模型层（M3）、元模型层（M2）、模型层（M1）和模

58集团的数据探查平台是一个统一的SQL开发平台，旨在提供便捷的SQL编写、调试和执行环境，每天处理超过10万条SQL查询。为了提升查询性能，特别是即席查询（Ad-Hoc）的响应速度，平台引入了StarRocks引擎。StarRocks以其统一的数据湖分析能力、MPP框架和向量化执行引擎，显著提升了查询性能，平均查询时间从分钟级降至秒级。在迁移过程中，团队解决了StarRocks与Spark在语法解析、元数据绑定、查询优化和执行阶段的不兼容问题，确保了迁移过程对用户透明。此外，团队还优化了StarRocks

元数据是描述数据的数据，提供关于其他数据的背景信息、属性或特征，帮助理解、管理和使用数据。例如，照片的元数据包括拍摄时间、设备、文件格式、分辨率、GPS位置等；图书馆书籍的元数据包括书名、作者、ISBN号、出版日期等；电子邮件的元数据包括发件人、收件人、发送时间等。元数据存在于结构化、半结构化和非结构化数据中，存储于业务系统、生产系统、数据库系统和支撑系统中。识别元数据涉及数据对象的描述信息、组织信息、管理信息等。常用的元数据提取工具和标准有助于组织快速形成数据资产能力。

数据治理是指从使用零散数据变为使用统一数据、从具有很少或没有组织流程到企业范围内的综合数据管控、从数据混乱状况到数据井井有条的一个过程。从范围来讲，数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析，从源头到终端再回到源头，形成的一个闭环负反馈系统。从目的来讲，数据治理就是要对数据的获取、处理和使用进行监督管理。

元数据（Metadata）是“数据的数据”，就是描述某个数据本身特征的数据。一般包括技术属性、业务属性和管理属性。（进一步阅读了解什么是元数据：元数据管理：组织数据资产的“导航仪”与“说明书”）我们用一张图，让大家了解元数据的相关概念，这样更清晰的理解各个概念在数据治理项目中的角色。

元数据的经典定义是“描述数据的数据”，但如何让业务人员快速理解？简单来说，就是描述某个数据本身特征的数据。而这些特征，我们一般称之为属性，一般包括技术属性、业务属性和管理属性。户口本：记录了个人的姓名、年龄、血型、亲属关系等个人相关数据信息，也记录了该户口本生成的时间、数据来源于哪个派出所等信息。户口本作为这些信息的载体，它为数据提供了最基本的身份标识和描述。户口本就像一个系统的数据库一样，记录了个人数据信息的名称、长度、是否为空、这个数据信息的含义等；

站在数据治理和人工智能的侧面，从数据的产生到价值的挖掘，再到服务的提供，离不开大数据技术、人工智能技术，以及其他技术的应用，因此，面对一个新兴的技术，不必感到恐慌和不解，这就是一个技术而已，至于怎么用，要看业务。多模态数据治理中，多模态数据融合和模型的训练推理将是重点关注的领域。数据治理是人工智能的数据基础，数据治理的目的是在业务价值驱动下提供高质量、有价值的大量数据，而人工智能本身是数据应用的一种实现方式，会延伸出多样化的商业模式，数据治理和人工智能密不可分，数据治理强调修炼内功，人工智能侧重数据应用。