![](https://img-blog.csdnimg.cn/cfd56aabd7634e78ba9d657930f4729f.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据中台
文章平均质量分 84
数据中台项目经验沉淀
寒 暄
自渡
展开
-
OneData方法论-数据质量管理
数据质量管理原则对于数据质量的评估从四个方面进行:完整性、准确性、一致性和及时性。完整性完整性是指数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失。准确性准确性是指数据中记录的信息和数据是否准确,是否存在异常或者错误。一致性一致性一般体现在跨度很大的数据仓库体系中,比如不同分支的业务数仓,对于同一份数据,必须保证一致性。及时性在确保数据的完整性、准确性和一致性后,接下来就要保障数据能够及时产出,这样才能体现数据的价值。原创 2022-02-16 16:53:42 · 648 阅读 · 0 评论 -
OneData方法论-元数据管理
元数据概述元数据定义元数据是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义,各层级间的映射关系、监控数据仓库的数据状态以及ETL作业的任务状态。元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所关系的数据,用于指导其进行数据管理和开发工作。元数据按照用途的不同分为两类:技术元数据和业务元数据。技术元数据技术元数据存放关于数据仓库系统技术细节的数据,用于开发和管理数据仓库使用的数据。分布式存储系统元数据,包含原创 2022-02-16 16:52:56 · 1522 阅读 · 0 评论 -
OneData方法论-事实表设计
事实表设计事实表特性事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计。事实表中一条记录所表达的业务细节程度被称为粒度,粒度可以通过两种方式来表达:一种是维度属性组合所表示的细节程度,一种是所表示的具体业务含义。作为度量业务过程的事实,一般是整数或浮点型的十进制数值,有可加性、半可加性、不可加性三种。可加性是指可以按照与事实表关联的任意维度进行汇总,半可加性是指可以按照部分关联维度进行汇总,不可加性例如比例性度量,是不能按照维度进行汇总。维度属性也可以退化到事实表中,退化维度可以用于进行事原创 2022-02-16 09:42:19 · 1650 阅读 · 0 评论 -
OneServer方法论-概述
OneServiceOneService概述从定制研发的方式将数据给到业务人员、到主题式服务,数据服务追求的是一步步从“授人予鱼”走向“授人予渔”。而能够从业务视角建设准、快、全、统、通的体系而言,OneService体系起到了关键作用。在授人予鱼的阶段,数据部门处于弱势,业务部分处于强势;业务部门处在主导地位。因此,数据对业务的支撑就变成了给数式服务。为了解决这样的问题,必须在数据统一、服务统一两个方面同时着手,两手都要抓,两手都要硬。2012年前后的数据服务提供给数式服务,首先根据业务原创 2022-01-18 17:26:36 · 3320 阅读 · 0 评论 -
OneEntity方法论-概述
OneEntityOneEntity概述因为全球数据量的激增,企业会从多终端、全渠道采集到的表现形式多种多样的数据,与人有关的实体数据最少有三种类型:①业务账号信息;②PC端cookie、无线设备标志;③身份属性信息。每天都有大量实体数据产生且分布在不同的业务单元中,这些数据天然就有被孤立的可能性。且不同业务单元出于自身发展需求来看,不同团队肯定是出于自身需求建设自有数据体系。但全局上便形成了数据孤岛。OneEntity方法论用来打破数据孤岛,进行数据融合。OneEntity统一实体我们将若干个原创 2022-01-18 14:37:46 · 1664 阅读 · 0 评论 -
OneData方法论-维度表设计
维度设计维度的概念维度是维度建模的基础和灵魂。在维度建模中,将度量称为“事实”,将环境描述为“维度”,维度是用于分析事实所需要的多样环境。维度表中的列,称为维度属性。维度属性是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。维度的作用一般是查询约束、分类汇总以及排序等。如何获取维度或维度属性?一方面,可以在报表中获取;另一方面,可以在和业务人员的交谈中发现维度或维度属性。因为它们经常出现在查询或报表请求中的“按照”( by )语句内。例如,用户要“按照”月份和产品来查看销售情况,那原创 2022-01-17 20:27:15 · 2153 阅读 · 0 评论 -
OneData方法论-概述
OneDataOneData概述OneData是阿里巴巴数据整合及管理体系,其方法论的核心在于:从业务架构设计到模型设计,从数据研发到数据服务,做到数据可管理 、可追溯、可规避重复建设。即数据只建设一次。OneData体系架构Onedata方法论分为三个阶段:业务板块、规范定义、模型设计。业务板块:根据业务的属性划分出几个相对独立的业务板块,业务板块的指标或业务重叠性较小。规范定义:结合业务板块相关数仓建设经验设计出的一套数据规范命名体系。模型设计:以维度建模理论为基础,基于维度建模总线矩阵原创 2022-01-15 16:17:18 · 8912 阅读 · 2 评论