数仓理论（5）—— 湖仓一体分层设计

已于 2025-01-07 10:02:09 修改
阅读量1k 收藏 9
点赞数 13
分类专栏： 大数据从入门到精通 文章标签： 大数据 数据仓库
于 2024-03-21 14:12:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/136907217
版权

1 湖仓一体分层规划

数据湖仓一体化同样需要良好的数据分层结构。

合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。

3aa59ea5de214b3184138fa7b04ba115.png

分层简称
了解本专栏 订阅专栏 解锁全文
数仓理论（2）——离线数仓、实时数仓与数据湖
shangjg3的博客
03-19 521
现在企业的数据仓库都会通过分层的方式将数据存储在文件夹、文件中，而数据湖使用的是平面架构来存储数据。数据湖是用于长期存储数据容器的集合，通过数据湖可以大规模的捕获、加工、探索任何形式的原始数据。但数据湖的设计理念是相反的，数据仓库是为了保障数据的质量、数据的一致性、数据的重用性等对数据进行结构化处理。数据湖越来越多的用于描述任何的大型数据池，数据都是以原始数据方式存储，知道需要查询应用数据的时候才会开始分析数据需求和应用架构。长期存储数据的成本低廉，数据湖可以安装在低成本的硬件在，例如：在一般的。
数仓实践——小米数据中台部门在销售数仓建设方面的实践
爱吃辣条的博客
03-06 1351
数仓实践——小米数据中台建设实践指南
论数据湖与数据仓库一体化设计的必要性
None
03-26 945
数据湖概念数据湖最早是由Pentaho的创始人兼CTO，James Dixon，在2010年10月纽约 Hadoop World大会上提出来的。当时Pentaho刚刚发布了Hadoop的第...
如何建设省时省力的BI平台？
weixin_47019216的博客
10-23 413
您还在通过SQL和程序代码的方式做数据分析和报表开发吗？ 您还在因为业务部门频繁变更数据口径和数据指标和而苦恼吗？ 您还在被业务吐槽“做的数据报表太丑了”而深深地感到审美和设计无力吗？ Quick BI——阿里云上客户都在用的BI工具，无缝对接各类云上数据库和自建数据库，大幅提升你的数据分析和报表开发效率，0代码鼠标拖拽式操作交互，让业务人员也能轻松实现海量数据可视化分析。
开启数据湖 “宝匣”
最新发布
像豆芽一样优秀
12-12 927
数据湖的出现是为了解决集中存储和数据孤岛。
四、电商数据仓库系统——第5章 数据仓库设计
我的笔记
03-21 843
大数据自学笔记——电商数仓5.0搭建学习笔记
最详细数据仓库项目实现：从0到1的电商数仓建设（数仓部分）
Mikkkee的博客
03-16 5424
其中业务总线矩阵，就像是一个分析的笔记.后面还会有各个属性值和度量值的统计等// 见讲义中第四个讲义数仓的第5章。
数据仓库【指标体系】
xiayuhaisong的博客
02-22 5259
指标体系可以帮助我们整体理解业务、全面了解问题、快速定位问题、迅速落地方案，我们说的指标体系不止是指标，还有指标管理和指标监控。
蜀海供应链数仓平台建设实践
大数据星球-浪尖
08-03 901
导读：随着蜀海供应链业务的发展，供应链中各个环节角色的工作人员利用数据对业务进行增长分析的需求越来越迫切。在过去大数据分析平台架构1.0的实践中，存在数据生产链路太长，架构太复杂，开发运维...
Doris实战——结合Flink构建极速易用的实时数仓_flink doris
2301_82243558的博客
04-27 1065
原文大佬的这篇Doris+Flink构建实时数仓的实战文章整体写的很深入，这里直接摘抄下来用作学习和知识沉淀。本篇文章介绍如何基于Doris和Flink快速构建一个极速易用的实时数仓，包括数据同步、数据集成、数仓分层、数据更新、性能提升等方面的具体应用方案。
离线数仓01——概念与设计思路
weixin_54936485的博客
11-17 1369
离线数仓搭建之概念、搭建思路以及各个服务器结点之间的部署
电商数据仓库设计商业智能流程设计
05-07
真实电商数据仓库全流程开发详解视频教程电商核心业务知识基础
2015大数据实战：真实电商数据仓库详解
01-06
绝对不加密的 之前我找了很多资源，下下来都要加QQ，然后付钱什么的，很烦，所以，我买了这个资源，就共享给大家。 如果链接失效，就评论给我，我补链接！谢谢大家！ 我还有其他大数据分享、
5. 电商数据仓库系统
记录点点滴滴
02-19 2627
电商数据仓库系统数据仓库概述数据仓库建模概述维度建模理论之事实表维度建模理论之维度表维度建模理论之维度表数据仓库环境准备数仓开发之ODS层数仓开发之DIM层数仓开发之DWD层数仓开发之DWS层数仓开发之ADS层报表数据导出数据仓库工作流调度 数据仓库概述 数据仓库建模概述 维度建模理论之事实表 维度建模理论之维度表 维度建模理论之维度表 数据仓库环境准备 数仓开发之ODS层 数仓开发之DIM层 数仓开发之DWD层 数仓开发之DWS层 数仓开发之ADS层 报表数据导出 数据仓库工作流调度 ...
数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)
张伟的专栏
09-03 529
数据仓库之电商数仓-- 3.1、电商数据仓库系统(ODS层、DIM层、DWD层)_FunnyPrince_的博客-CSDN博客_电商数仓
数据仓库之电商数仓-- 3.2、电商数据仓库系统(DWS层)
FunnyPrince_的博客
10-20 762
目录七、数仓搭建-DWS层7.1 系统函数7.1.1 nvl函数7.1.2 日期处理函数7.1.3 复杂数据类型定义7.2 DWS层7.2.1 访客主题7.2.2 用户主题7.2.3 商品主题7.2.4 优惠券主题7.2.5 活动主题7.2.6 地区主题7.2.7 DWS层首日数据装载脚本7.2.8 DWS层每日数据装载脚本 七、数仓搭建-DWS层 7.1 系统函数 7.1.1 nvl函数 基本语法： NVL（表达式1，表达式2） 如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 该函
大数据项目之电商数据仓库系统
u011868279的博客
03-29 2706
大数据项目之电商数据仓库系统
Hadoop大数据视频教程-第一季：真实电商数据仓库全流程开发详解
fmktokf的专栏
11-06 5101
Hadoop大数据视频教程-第一季：真实电商数据仓库全流程开发详解(共46讲) 关键词：hadoop视频教程 hive教程 大数据 数据仓库 hadoop实战 数据分析平台 大数据平台 hadoop实际项目 hadoop进阶  hive进阶 bi视频教程 商业智能 数据仓库工程师 bi工程师 目前hadoop版本2.x hive0.13 大数飓出品www.itqsc.com
数仓重要名词：指标-派生指标的种类（事务性指标、存量型指标、复合型指标）
weixin_46429290的博客
05-16 3305
派生指标的种类 派生指标可以分为3类：**事务性指标、存量型指标、复合型指标。**按照其特性不同，有些必须新建原子指标，有些可以在其他类型原子指标的基础上增加修饰词形成派生指标。 一、事务性指标 是指对业务活动进行衡量的指标。例如新发商品数、重发商品数、新增注册会员数、订单支付金额，这类指标需要维护原子指标及修饰词，在此基础上常见派生指标。 二、存量型指标 是指对实体对象（如商品、会员）某些状态的统计。例如商品总数、注册会员数。这类指标需要维护原子指标及修饰词，在此基础上创建派生指标，对应事件周期一般为
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值