![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数仓建模
文章平均质量分 65
Dylan ZhaoHT
这个作者很懒,什么都没留下…
展开
-
doris物化视图
物化视图的使用场景有:分析需求覆盖明细数据查询查询对明细数据的任意维度上卷聚合分析创建物化视图通过下面命令就可以创建物化视图了。创建物化视图是一个异步的操作,也就是说用户成功提交创建任务后,DorisDB会在后台对存量的数据进行计算,直到创建成功。CREATE MATERIALIZED VIEW查看物化视图创建状态由于创建物化视图是一个异步的操作,用户在提交完创建物化视图任务后,需要通过命令检查物化视图是否构建完成, 命令如下:SHOW ALTER MATERIALIZED VIEW FR原创 2022-05-19 20:18:22 · 1191 阅读 · 0 评论 -
设备id字典表生成
原创 2022-05-06 19:58:05 · 162 阅读 · 0 评论 -
实时数仓建设与实践
实时数仓考虑到时效性问题,分层设计需要尽量精简,降低中间流程出错的可能性,不过总体而言,实时数仓还是会参考离线数仓的分层思想来设计。从传统的经验来讲,我们认为数仓有一个很重要的功能,即能够记录历史。通常,数仓都是希望从业务上线的第一天开始有数据,然后一直记录到现在。但实时处理技术,又是强调当前处理状态的一门技术,所以我们认为这两个相对对立的方案重叠在一起的时候,它注定不是用来解决一个比较广泛问题的一种方案。于是,我们把实时数仓建设的目的定位为解决由于传统数据仓库数据时效性低解决不了的问题。离线数仓和实时数仓原创 2021-07-20 09:41:52 · 1511 阅读 · 0 评论 -
数仓建模理论--维度建模
总线架构:维度建模的数据仓库中,有一个概念叫Bus Architecture,中文一般翻译为“总线架构”。总线架构是Kimball的多维体系结构(MD)中的三个关键性概念之一,另两个是一致性维度(Conformed Dimension)和一致性事实(Conformed Fact)。一致性维度和事实,企业数据仓库应该建立一个一致性维度和事实,而不是为每个部门建立维度和事实。一致性维度: 具有一致的维度关键字,一致的属性列名称,一致的属性定义和一致的属性值。一致性维度要么是统一的,要么是维度表的一个子集。原创 2021-06-17 14:53:59 · 1242 阅读 · 0 评论 -
数仓建模理论--ER模型、Data Vault模型、Anchor模型、维度建模各自应用场景
ER模型是从全企业的高度设计一个3NF模型,用实体关系(Entity Relationship,ER)模型描述企业业务。其具有以下几个特点:需要全面了解企业业务和数据、实施周期非常长、对建模型人员要求非常高采用ER模型建设数据仓库的出发点是基于整合数据,将各个系统的数据以企业角度按主题进行组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。其建模步骤分为三个阶段:高层模型:一个高度抽象的模型,描述主题与主题之间的关系,用于描述企业的业务总体概况。中层模型:在高层模型的基础转载 2021-06-09 19:18:55 · 1507 阅读 · 0 评论 -
数仓建模理论--Anchor建模
Anchor对Data Vault模型做了进一步规范化处理,Lars.Ronnback的初衷是设计一个高度可扩展的模型,其核心思想是所有的扩展只是添加而不是修改,因此将模型规范到6NF,基本变成了k-v结构化模型。Anchor模型的组成Anchors: 类似于Data Vault的Hub,代表业务实体,且只有主键。Attributes: 功能类似于Data Vault的Satellite,但是它更加规范化,将其全部k-v结构化,一个表只有一个Anchors的属性描述。Ties: 就是Anchors之原创 2021-06-09 19:16:06 · 1831 阅读 · 0 评论 -
数仓建模理论--Data Vault建模
Data Vault模型构建在Data Vault模型中,各个实体组件有着严格、通用的定义与准确、灵活的功能描述,这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务规则,同时也为构建Data Vault模型提供了一致而普遍的方法。Data Vault模型主要用于存储来自多个业务系统的完整的历史数据。它不区分数据在业务层面的准确与否,装载数据也不做验证和清洗,因此,Data Vault模型可用于跟踪所有数据的来源。Data Vault模型有几个主要的组:① Hub组件,用于记原创 2021-06-03 17:43:39 · 1648 阅读 · 0 评论