数仓模型理论

最新推荐文章于 2024-08-01 00:00:00 发布
最新推荐文章于 2024-08-01 00:00:00 发布
阅读量894 收藏 4
点赞数
分类专栏： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43747427/article/details/108280181
版权
本文介绍了数据仓库的基本概念，深入探讨了建模理论，包括三范式、ER模型、DataVault模型和维度模型。同时，详细阐述了Hive的技术架构，涉及数据类型、压缩格式、文件格式、内部表与外部表的选择以及优化策略。此外，还提及了HBase的rowkey设计原则。
摘要由CSDN通过智能技术生成

1 数仓介绍

在这里插入图片描述

2 建模理论

建模的目标：性能、成本、效率、数据质量中找到平衡点

2.0 三范式

123要求逐渐严格

  1. 每一列不可分割
  2. 属性要完全依赖于主键，不可以只依赖一部分(数据重复很多)案例中主键是学生id和课程，所属系和系主任只依赖学生id

在这里插入图片描述
3. 主键以外的字段没有依赖关系
在这里插入图片描述

2.1 ER(Entity Relationship)实体模型

在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
Fouradam
关注
专栏目录
数仓建模—数据管理能力成熟度评估模型(DCMM)
05-28 5万+
DCMM是国家标准《GB/T36073-2018 数据管理能力成熟度评估模型》（Data management Capability Maturity Model）的英文简称。DCMM（Data Management Capability Maturity Assessment Model，数据管理能力成熟度评估模型）是我国首个数据管理领域国家标准，将组织内部数据能力划分为八个重要组成部分，描述了每个组成部分的定义、功能、目标和标准。
系列 | 漫谈数仓第二篇NO.2 『数据模型』（维度建模&建模工具）
玉皇大帝不开心
09-03 1432
点击上方“数据仓库与Python大数据”，选择“置顶/星标”第一时间获取 精彩资讯！本文导航前言：model对于数仓是最核心的东西，数据模型是数据组织和存储方法，模型的好...
余利华：网易大数据平台架构实践分享！
weixin_34007020的博客
08-28 661
【IT168 专稿】本文根据余利华老师在2018年5月10日【第九届中国数据库技术大会】现场演讲内容整理而成。 讲师简介：余利华，网易大数据总经理，负责网易数据科学基础设施建设， 包括大数据管理和应用开发平台猛犸、企业级智能可视化分析平台有数等大数据产品，以及各类数据库产品。摘要： 随着网易云音乐、新闻、考拉、严选等互联网业务的快速发展，网易开始加速大数据平台建设，以提高数据获取速度，提升数据分析...
数据仓库基础理论—维度建模（图文详解）
最新发布
喻师傅的学习笔记
08-01 1832
维度建模是数据仓库设计中的一种核心方法，旨在以业务角度组织数据，使其更易于理解、查询和分析。
Kudu的性能测试
weixin_30914981的博客
09-28 381
　　不多说，直接上干货！ Kudu的性能测试 　　1. kudu和parquet的比较 　　　　　　　　　　 　　上图是官方给出的用Impala跑TPC-H的测试，对比Parquet和Kudu的计算速度。从图中我们可以发现，Kudu的速度和parquet的速度差距不大，甚至有些Query比parquet还快。然而，由于这些数据都是在内存缓存过的，因此该测试...
数据仓库系列--建模_李孟_新浪博客
李孟的博客
04-17 366
一.数据仓库的数据模型 1.系统记录域（System of Record）：这部分是主要的数据仓库业务数据存储区，数据模型在这里保证了数据的一致性。 2.内部管理域（Housekeeping）：这部分主要存储数据仓库用于内部管理的元数据，数据模型在这里能够帮助进行统一的元数据的管理。 3.汇总域（Summary of Area）：这部分数据来自于系统记录域的汇总，数据模型在这里保证了...
kudu update操作
badboynt的博客
08-17 827
这里同样使用了一段内存作为缓冲，与insert操作的memRowset类似，update操作也是先写入deltaMemStore，然后再定期刷入到deltaFile中。deltaStore中维护的并不是主键索引的b-树，而是基于row_offset的b-树。update操作在baseData中查询主键索引，得到row_offset后，在deltaStore中可以直接通过row_offset去deltaStore中进行写入。kudu的update操作与insert操作类似，一开始需要先查询主键是否存在。...
数仓建模理论
weixin_52112640的博客
09-05 1586
实际上，INF是所有关系型数据库的最基本要求，你在关系型数据库管理系统（RDBMS）,列如SQL Server，Oracle，MySQL中创建数据表的时候，如果数据表的设计不符合这个最基本的要求，那么操作一定是不能成功的。1、完全函数依赖：设X，Y是关系R的两个属性集合，X是X的真子集，存在x→Y，但对每一个X都有X’!设X，Y是关系R的两个属性集合，X是X的真子集，存在x→Y，但对每一个X都有X‘！从属型数据集市的优点：搭建一个从属型数据集市开发周期是比较长的，首先必须要有一个中央的数据仓库。
002数仓建模理论知识
05-20
### 数仓建模理论知识详解 #### 一、三范式建模理论 在数据库设计领域，三范式（Third Normal Form，3NF）是一种重要的规范化标准，它旨在减少数据冗余并避免更新异常，从而确保数据的一致性和完整性。 **1.1 第...
数仓建模理论与规范.pdf
05-25
### 数仓建模理论与规范 #### 一、模型架构设计目标 数据仓库的主要功能在于为决策者提供有效的数据支持，而数据仓库的设计则需要围绕以下几个核心目标展开： 1. **面向主题**：数据仓库的设计应该围绕特定的主题...
空间分析建模目的_数据仓库和数据集市建模体系化总结
weixin_39682940的博客
11-21 453
前言数据仓库建模包含了几种数据建模技术，除了ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。维度建模的基本概念维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。它本身...
数仓理论及建模方法
热门推荐
weixin_47243236的博客
02-19 1万+
1. 数仓概述 数据仓库： 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合。重要用于组织积累的历史数据，并且使用分析方法（OLAP、数据分析）进行分析整理，进而辅助决策，为管理者、企业系统提供数据支持，构建商业智能。 面向主题：为数据分析提供服务，根据主题将原始数据集合在一起。 集成的：原始数据来源于不同的数据源，要整合成最终数据，需要经过 ETL（抽取、清洗、转换）的过程。 非易失：保存的数据是一系列历史快照，不允许被修改，只允许通过工具进行查询、分析。 时变性：数仓会定期接收、集成新的
区块链分布式存储：生态大数据的存储新模式
zshuping的博客
11-03 1794
区块链，当之无愧的2019最靓的词，在科技领域闪闪发亮，在实体行业星光熠熠。2019年的1024讲话，让区块链这个词焕然一新，以前它总是和传销和诈骗联系在一起，“区块链”这个词总是蒙上一层灰色。但是如今，区块链则是和实体经济融合紧密相连，成为国家的战略技术，这个词瞬间闪耀着热情的红色和生意盎然的绿色。 一、中心化存储VS分布式存储 当前的存储大多为中心化存储，存储在传统的中心化服务器。如果服务器出现宕机或者故障，或者服务器停止运营，则很多数据就会丢失。比如我们在微信朋友圈发的图片，在抖音上传的视频等等，都是
数仓模型
qq_29486363的博客
04-01 671
1.维度模型 星型模型 一个事实多个维度 （其他：雪花模型（多个事实表）和星座模型。） 优点：直观体现业务。 缺点：需进行大量的数据预处理，不能保证数据来源的一致性和准确性 维度建模的领域主要适用与数据集市层，它的最大的作用其实是为了解决数据仓库建模中的性能问题 2. ...
Apache Kudu 加速对频繁更新数据的分析
大隐隐于野
02-26 291
今天解读的内容是来自 Hadoop Summit San 2016 关于 Apache Kudu 的一个介绍：Apache Kudu & Apache Spark SQL for Fast Analystics on Fast Data（视频见文章末尾）。 Apache Kudu 加速对频繁更新数据的分析_腾讯视频 视频 Kudu Overview 上图是 Hadoop 生态体...
数仓建模（维度建模）
aijiudu的博客
07-25 4293
本文主要介绍什么是建模？模型的好处？建模的方法和维度建模。从基本概念、维度、事实、为何分层和建模步骤等角度详细介绍维度建模。
kudu大量数据更新_kudu的写数据流程
weixin_31629313的博客
01-13 991
写入操作是指需进行插入、更新或删除操作的一组行。需要注意的事项是Kudu强制执行主关键字的唯一性，主关键字是可以更改行的唯一标识符。为了强制执行此约束条件，Kudu必须以不同的方式处理插入和更新操作，并且这会影响tablet服务器如何处理写入Kudu中的每个tablet包含预写式日志(WAL)和多个行集合(RowSet),它们是保存在存储器和磁盘上(被刷新时)的不相交的行集合。写入操作先被提交到t...
电商数仓揭秘：3系统架构与数据模型详解
本资源文档深入探讨了大数据项目中的电商数仓设计，特别是针对电商企业的数据结构和数仓理论。首先，章节一介绍了电商业务的基本概念，如业务流程和关键术语。电商业务流程涉及商品销售的全过程，包括SKU（库存量...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值