数据仓库的基础

最新推荐文章于 2024-10-09 15:55:17 发布
最新推荐文章于 2024-10-09 15:55:17 发布
阅读量367 收藏 8
点赞数 8
文章标签： 数据仓库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thebgt/article/details/136657297
版权
本文详细阐述了数据仓库中的三个关键层次：ODS层进行数据清洗和完善并添加审计字段，DWD层构建维度模型和事实表，实现星形模式以支持灵活查询；ADS层则负责根据分析需求进行汇总和指标生成，提供决策支持。
摘要由CSDN通过智能技术生成

1.数据仓库ODS层的处理

数据清洗，完善，添加审计字段

2.dwd层的处理

建立维度模型，与事实表模型，维度表由各个事实表进行分析建立。事实表存储id，建立星形模型，可以通过事实表关联维表形式，查询所需的属性

明细宽表，可以进行汇总处理，存储原始指标。

3.ads层

根据分析诉求，进行汇总，按照主题生成，指标计算

朱先生_hfm
关注
数据仓库基础知识
小猪宝宝的博客
06-08 2067
数据仓库基础知识介绍
数据仓库理论知识
默主归沙的博客
06-06 3656
通常数据仓库的数据来自各个业务应用系统。业务系统中的数据形式多种多样，可能是 Oracle、MySQL、SQL Server 等关系数据库里的结构化数据，可能是文本、CSV 等平面文件或 Word、Excel 文档中的数据，还可能是 HTML、XML 等自描 述的半结构化数据。这些业务数据经过一系列的数据抽取、转换、清洗，最终以一种统一的格式装载进数据仓库。数据仓库里的数据作为分析用的数据源，提供给后面的即席查询、 分析系统、数据集市、报表系统、数据挖掘系统等。这时我们就想了，为什么不能把业务系统的数据直接
数据仓库基础
u013938578的博客
01-29 1万+
数据库中，最大的特点是面向应用进行数据的组织，各个业务系统可能是相互分离的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。而基于主题组织的数据则不同，它们被划分为各自独立的领域，每个领域有各自的逻辑内涵但互不交叉，在抽象层次上对数据进行完整、一致和准确的描述。同时数据仓库自身也不需要“消费”任何的数据，其结果开放给各个外部应用使用，这也是为什么叫“仓库”，而不叫“工厂”的原因。所有的业务操作可以分为读、写两种操作，一般来说读的压力明显大于写的压力。
数据仓库基础理论—数仓分层
喻师傅的学习笔记
08-01 1235
在国内主流的数据仓库设计中，通常会采用多层架构来管理和组织数据，常见的层次：ODS（操作数据存储）、DWD（数据仓库明细层）、DWS（数据仓库汇总层）、DIM（维度模型层）和ADS（应用数据服务层）。
数据仓库基础（通俗易懂，好文）数仓概念
热门推荐
Remix_xy的博客
07-10 4万+
作为程序员要必须知道的数仓知识，建议看看，通俗易懂，简单明了。 什么是维度表，事实表，数仓模型？
【数据仓库基础（二）】数据仓库架构
hiliang521的博客
09-07 1389
数据仓库架构
数据仓库和数据挖掘基础
小发菜
05-20 1465
主要介绍数据仓库和数据挖掘的基本知识。
数据仓库分层标准
sinat_41207450的博客
09-02 1607
数据仓库分层的好处 复杂问题简单化 通过将复杂的计算任务分解到多个阶段执行，将所有的复杂计算，拆分成多个简单计算来进行，逻辑更清晰，单个任务更简单。 混沌数据结构化 将所有的数据按照不同的加工程度分层，明确了取用某一种加工程度的数据应该去哪一层，通过分层梳理了所有数据的结构。 用空间换取时间 将不同程度的聚合数据全部存储起来，避免了使用数据时的二次聚合，减轻了计算量。 串行任务并行化 分层数仓的每一层的任务可以并行处理，可以最大限度发挥计算引擎的性能，提升计算性能。
数据仓库架构
汪巡的博客
09-26 2154
这节来说说数据仓库的架构，关于架构并没有一个统一的标准，按照数据量以及使用环境可以搭建适合当下场景的数据仓库，下面主要是介绍比较大众或者说比较通用的数据仓库架构。传统的数据仓库架构按层级可分为 ETL、ODS、DWD、DWS 和 ADS 五个层级，层次结构如下图所示。 这五个层级针对不同的需求解决各阶段各自的问题，在数据量少的情况下个别层次可以继续简化，也可以在层次之间增加数据中间件，让整个过程更加规范化，对于层级结构没必要细究，重点是每个层级所解决的问题以及在整个链路所处的位置。 ETL ETL（Ext
数据仓库——环境
a1473227656的博客
03-08 2412
数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合。
video_P1-数据仓库基础理论与技术圈
12-04
数据仓库基础理论与技术是IT领域中的重要组成部分，特别是在大数据时代，它对于企业决策支持、数据分析及业务洞察具有至关重要的作用。数据仓库是专门设计用于高效分析查询的系统，与传统的关系型数据库不同，它更...
第六章：数据工程（6.3数据治理和建模--6.4数据仓库和数据资源）
HappyAcmen
10-09 550
把数据转化成可流通的数据要素，重点包含。主题库建设可采用多层级体系结构，即。点击专栏订阅(持续更新~~~)衡量数据质量的指标体系包括。数据质量描述:数据质量可以。数据标准化阶段的具体。确定模型的数据结构，
大数据分析入门概述
m0_47498690的博客
10-04 2638
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
项目管理-信息技术发展
GAVIN
10-04 712
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
大数据行业应用实训室建设方案
whwzzc的博客
10-08 957
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
消息队列介绍
最新发布
weixin_38703379的博客
10-09 257
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
MySQL基础篇 - 事务
Green小光
10-02 1183
MySQL基础篇 - 事务
【尚硅谷】RocketMQ 消息队列学习笔记
qq_43539664的博客
10-02 533
Topic -> Queue -> 消息Queue 太多不好管理，将Queue划分成不同的分片，Broker 存储分片Broker 是按照分片存储的。
数据仓库基础：入门必读
"数据仓库基础中文版是一本专为学习数据仓库知识而编写的教材，由Paulraj Ponniah撰写，并得到了John Wiley and Sons出版社的支持。该书旨在满足教育机构和IT专业人士对数据仓库理论与实践的教育需求。" 在这本数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值