数据仓库
文章平均质量分 68
数据仓库
嘻哈吼嘿呵
这个作者很懒,什么都没留下…
展开
-
命名标准管理
概述数据建模的过程中,会对几百个甚至上千个字段进行命名,特别在一个团队中,经常会遇到这些问题:这时候就需要建立一个标准的、统一的命名平台,每个人不仅可以维护自己的标准命名,还可以和同事之间,企业之间共享标准命名。下面是命名标准管理系统的网址,欢迎注册使用。知了命名:www.zlmingming.cn功能介绍首页在首页可以根据关键字查询标准命名,如果在自己的库里查不到,会查询到翻译后的值。还可以看到本公司其他库里标准命名...转载 2021-03-25 18:13:10 · 259 阅读 · 0 评论 -
数仓可视化,低代码开发平台
概述在数据仓库建设中,特别是在多个开发人员的过程中,经常会遇到以下问题:需要把数仓整个生命周期进行统一管理,基于元数据驱动的自动化、可视化的平台,实现低代码开发。功能模块开发平台主要包括以下模块:需求管理,源系统管理,数据探查,业务总线矩阵,维度建模,ETL管理,作业管理,BI应用管理,数据标准管理,元数据管理。需求管理:统一管理各部门的需求文档,定义需求文档标准格式,管理需...转载 2021-03-25 18:09:50 · 444 阅读 · 0 评论 -
数据仓库(七)之作业调度篇
概述随着数据仓库的开发,ETL作业会越来越多,怎么把这些作业有序的运行起来,就需要一个健壮的调度系统来保证数据能够准确、及时的提供给BI应用程序。调度系统设计目标调度系统架构ETL作业数据仓库的ETL作业可能不至一种,需要把各种作业再次进行封装,建立作业的标准格式,统一作业的输入参数、输出参数和参数格式,达到所有的作业调度方式一致。作业管理提供便捷的...转载 2021-03-25 18:09:17 · 568 阅读 · 0 评论 -
2021-03-25
概述数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较。数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用。数据质量维度数据质量产生的根本原因...转载 2021-03-25 17:31:12 · 111 阅读 · 0 评论 -
数据仓库(五)元数据管理
概述元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构,操作和内容的所有信息。元数据贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化。元数据类型1.业务元数据业务元数据指从业务角度描述业务领域相关的概念、关系和规则的数据,包括业务术语和业务规则等信息。2.技术元数据技术元数据指描述系统中技术细节相关的概念、...转载 2021-03-25 17:14:17 · 215 阅读 · 0 评论 -
数据仓库(四)之ETL开发
概述ETL是数据仓库的后台,主要包含抽取、清洗、规范化、提交四个步骤,传统数据仓库一般分为四层模型。分层的作用STG层在维度建模阶段已经确定了源系统,而且对源系统进行了数据评估。STG层是根据CDC策略把各个源系统的数据抽取到数据仓库中。STG层主要是面向批处理的形式,如果是根据日志信息实时同步...转载 2021-03-25 17:10:51 · 721 阅读 · 0 评论 -
数据仓库(三)之架构篇
概述架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么,架构就是回答怎么做的问题。架构的价值数据仓库架构数据仓库的核心功能从源系统抽取数据,通过清洗、转换、标准化,将数据加载到BI平台,进而满足业务用户的数据分析和决策支持。数据仓库架构包含三个部分:数据架构、应用程序架构、底层设...转载 2021-03-25 16:58:52 · 160 阅读 · 0 评论 -
数据仓库(二)之维度建模篇
概述维度建模是一种将数据结构化的逻辑设计方法,它将客观世界划分为度量和上下文。度量是常常是以数值形式出现,事实周围有上下文包围着,这种上下文被直观地分成独立的逻辑块,称之为维度。它与实体-关系建模有很大的区别,实体-关系建模是面向应用,遵循第三范式,以消除数据冗余为目标的设计技术。维度建模是面向分析,为了提高查询性能可以增加数据冗余,反规范化的设计技术。维度建模优点事实表事实表...转载 2021-03-25 16:50:24 · 255 阅读 · 0 评论 -
数据仓库(一)之需求篇
概述业务需求定义了企业的业务人员为了完成其工作,进而实现企业目标,一定要具备的东西。包括功能性需求和提供的服务。它是数据仓库的核心,从广度和深度上做好需求调研为数据仓库建设建立良好的开端。需求分类需求调研步骤1.确定调研对象由于业务人员不懂技术,它们以为需求都会得到满足。各个项目开发人员不懂业务,不熟悉整个业务场景。数据仓库团...转载 2021-03-25 16:23:44 · 244 阅读 · 0 评论 -
数据仓库相关文章
数据仓库简述数据仓库概述数据仓库的几种建模方法数据仓库之ETL实战数据仓库之分层模型为什么建设数据仓库数据仓库的对比和选择OPPO数据中台之基石:基于Flink SQL构建实数据仓库基于Hadoop的数据仓库数据仓库介绍与实时数仓案例如何对数仓进行建模数据湖正在成为新的数据仓库...原创 2019-10-12 19:39:19 · 133 阅读 · 0 评论 -
一、DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解
1、DB(DataBase):数据库,一般指的就是OLTP数据库,在线事物数据库,用来支持生产的。DB保留的是数据信息的最新状态,只有一个状态!2、DW(Data Warehouse):数据仓库,保存的是数据在不同时间点的状态,对同一个数据信息,保留不同时间点的状态,便于我们做统计分析。3、关于DM,目前网上有两种说法,一说数据集市(Data Mart);一说数据挖掘(Data...转载 2019-09-06 14:50:01 · 2879 阅读 · 0 评论