（废弃）大数据数仓从入门到精通

于 2021-03-29 21:48:53 发布 112 收藏
分类专栏： 数据仓库 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45204457/article/details/115093197
版权

数仓架构详解

在这里插入图片描述

数仓项目开发的流程

业务建模：需求分析
领域建模：设计部分的概要设计
逻辑建模：设计部分的详情设计（表名、字段、字段的类型、关联关系）。建模工具是PD（PowerDesigner）
物理建模：编码阶段，具体的实施。书写建库，建表语句
2.
数据仓库分层：ODS层、DWD层、DWS层、DM层

事实表、维度表

事实表：用于记录事实上产生数据的表，记录其动作
维度表：对于事实表的说明
在这里插入图片描述
星型模型：适用于业务简单、效率高，但数据有冗余；
雪花模型：适用的场景与星型模型相反
星座模型
在这里插入图片描述

元数据管理

数仓示例

销售系统：客户表、订单表、产品表
(1) 模型设计：PD
(2) 物理实现

风满楼i
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
大数据与数据仓库入门到精通
09-20
<p> 本课程以CDH作为大数据平台，详细介绍CDH平台各个组件在生产环境的应用及开发，并结合实际的业务场景，离线数仓，实时数仓，构建企业核心的数据架构。 </p> <p> 在实际的工作当中，大数据架构，运维或者开发人员会与多个公司团队合作，ETL团队，爬虫团队，算法团队，运营团队等等，指导大家如何与个个团队打交道，提升工作效率。减少团队之间不愉快的沟通。 </p> <p> 希望学习者最好从事过数据库相关工作，有一些 JAVA开发基础，或者有其他工作经验，想学习大数据及数据仓库的同学，对于没有工作经验，或者对开发，数据完全小白的同学，建议先了解相关知识再学习。 </p> <p> 本课程的宗旨只有一条，任何学习完本课程的同学，都能熟悉企业主流的数据架构，都有能力维护一个中等HADOOP集群，也就是1P左右的数据的集群或者多个集群。 </p> <p> <br /></p> <p> <br /></p> <p> <br /></p>
数据仓库与数据挖掘整套详解教程
03-31
数据仓库 数据挖掘 商业智能 BI 详细讲解数据挖掘的过程、数据预处理的必要性、数据预处理的基本功能等数据挖掘各个环节的技术及理论要点细则。适用于数据仓库、数据挖掘、商业智能、BI培训学习。
大数据需要学习哪些知识
最新发布
weixin_51689029的博客
03-14 216
当先大数据行业发展前景一片光明，也有许多小伙伴想要加入大数据的学习行列当中来，但是又不知道大数据到底该学习什么，其实大数据本质上是海量数据。以往的数据开发，需要一定的Java基础和工作经验，门槛高入门难。如果零基础入门数据开发行业的小伙伴可以从Python语言入手。大数据学习路线以及资源：开发入门：Linux入门 → MySQL数据库核心基础： Hadoop数仓技术： Hive数仓项目PB内存计算： Python入门 → Python进阶→ pyspark框架 → Hive+Spark项目。
大数据clickhouse篇--clickhouse从入门到精通
qq_43709558的博客
09-16 491
clickhouse
数据仓库入门教程-非常适合初学者
11-03
主要介绍数据仓库的实现，并通过具体的数据仓库产品介绍数据仓库分析技术。
【数仓建模】从入门到放弃
weixin_44167246的博客
07-29 53
数仓建模的底层思维逻辑
大数据真实数仓项目完整版.zip
06-21
最新大数据真实数仓项目完整版，有设计文档，数据建模以及相关脚本，绝对真实，线上项目
HIVE从入门到精通
xiaoxiangyu163的博客
09-29 2884
1背景 应用于工业的商务智能收集分析所需的数据集正在大量增长，使得传统的数据仓库解决方案变得过于昂贵。Hadoop是一个流行的开源map-reduce实现，用于像yahoo, Facebook一类的公司。来存储和处理商用硬件上的大范围数据集。然而map-reduce程序模型还是处于很低级别，即需要开发者来书写客户程序，这些程序往往难于维护与重用。 用hbase做数据库，但由于hbase没有类s
数据仓库入门经典教程
12-29
数据仓库知识全面介绍 业务库 ODS DW 数据集市.pdf
kafka和flink的入门到精通 2 系统架构，实时数仓架构，Kafka
qq_45956730的博客
09-19 503
kafka和flink的入门到精通 2 系统架构，实时数仓架构，Kafka
学习笔记(02):大数据与数据仓库入门到精通-impala自动同步Hive元数据变更
zdltkvxdut的博客
03-20 306
本课程以CDH作为大数据平台，详细介绍CDH平台各个组件在生产环境的应用及开发，并结合实际的业务场景，离线数仓，实时数仓，构建企业核心的数据架构。 在实际的工作当中，大数据架构，运维或者开发人员会与多个公司团队合作，ETL团队，爬虫团队，算法团队，运营团队等等，指导大家如何与个个团队打交道，提升工作效率。减少团队之间不愉快的沟通。 希望学习者最好从事过数据库相关工作，有一些 JAV...
Flink从入门到精通100篇（二十）-跨境电商 Shopee 的实时数仓之路
wenyusuran的专栏
06-13 903
导读：本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括： 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 实时任务监控 Streaming SQL 平台化 Streaming Job 管理 未来规划优化方向 建设背景 Shopee 是东南亚与台湾领航电商平台，覆盖新加坡、马来西亚、菲律宾、台湾、印...
greenplum分布式集群（数据仓库）实战
weixin_34007879的博客
11-12 85
1.准备环境 1.1集群介绍 系统环境：centos6.5 数据库版本：greenplum-db-4.3.3.1-build-1-RHEL5-x86_64.zip greenplum集群中，4台机器IP分别是 [root@dw-greenplum-1 ~]# cat /etc/hosts 127.0.0.1 localhost localho...
数仓基础入门-10-实践篇
renzhixin1314的博客
12-10 198
有不少没涉及过数仓的同学问我一些比较基础的问题，为了更好的理解前面讲到的一些理论，写一个小小的demo体会一下~~ 我们要构建一个订单主题，构建订单明细，订单sku,订单粒度三张表。(假设我们只有一个数据域,单纯的为了举个例子，有一个大概的理解) 模型设计及概念可阅读《数仓基础入门》系列历史文章，三言两语就打发了，具体深意自己体会~???? ods层表 日志表：ods_order_det...
快速入门数据仓库
qq597213343的博客
04-09 822
总结： 概念 是一个用于存储、分析、报告的数据系统 构建面向分析的集成化环境，分析结果为企业提供决策 数仓本身不生产数据，数据来源于外部系统 数仓本身也不消费数据，其结果开放给各个外部应用使用 所以称为仓库而不是工程 为什么会有数仓？ 为了分析数据而来，分析结果给企业决策提供支撑 操作性记录的保存 公司下面有多个BU，业务线等等，都有各自的业务系统，记录销售、经营、
数仓入门基础-9-缓慢变化维
renzhixin1314的博客
12-02 118
缓慢变化维的提出是因为维度的属性并不是静态的，他会随着时间线延长发生缓慢的变化。 常用的三种处理方式： 1.重写维度值，不保留历史，始终取最新数据。 2.插入新的维度行，历史事实数据与历史维度关联，新的事实数据与新的维度关联。 3.插入新的维度列。 举个????：有一个商店店铺，20191101类目是A,20191102更改为B。 商店id 类目 其他属性 日期 100...
kafka和flink的入门到精通 1 大数据时代，分布式数据存储，数仓
qq_45956730的博客
09-19 460
kafka和flink的入门到精通 1 大数据时代，分布式数据存储，数仓
数据分析特辑 - 数仓初入门
Totoro1745的博客
08-23 263
前言 完全没想到在工作中也会有接触到数仓的一天，这里仅仅记录下在学习过程中一些特别入门的知识点，也帮自己总结总结~ 为什么要建设数仓 方便沟通交流 提高排查问题的效率 提高数据开发的效率 代码复用、表复用等 复杂任务解耦（分散到各层或层内的不同表） 提高数据质量，避免数据口径不一致等问题 减少存储成本和计算成本 数据库与数据仓库的区别 数据库是面向事务的设计，数据仓库是面向主题的设计 数据库一般服务于业务系统，数据仓库一般是服务于分析系统 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据 数据
数据仓库入门基础-1-漫谈数仓
renzhixin1314的博客
01-03 1467
百度百科的定义： 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的特征在于面向主题、集成性、稳定性和时变性。 从传统数仓到互联网数仓，有很多相似点也有很多不同点，...
数仓那点事：从入门到佛系
晓阳的数据小站
03-12 1926
（一）初识数仓 每个人对于数仓的理解，都源自于大数据，而大数据有源自于那个神奇的故事：从前有一家超市，它有一个怪现象，尿布和啤酒赫然摆在一起出售。外行人不明所以，但内行人却看到了尿布和啤酒的销量双双增加。为什么呢？正是因为大数据发挥了它最原始的作用：组合分析。妇女们经常会嘱咐她们的丈夫下班以后要为孩子买尿布，而丈夫在买完尿布之后又要顺手买回自己爱喝的啤酒，因此啤酒和尿布在一起购买的机会还是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风满楼i

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值