Hive - 数仓的分层理论

最新推荐文章于 2024-08-09 16:39:42 发布
最新推荐文章于 2024-08-09 16:39:42 发布
阅读量3.6k 收藏 27
点赞数 5
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miaoso/article/details/109074406
版权
本文介绍了Hive在大数据中的数仓分层理论，包括分层的原因、基本分层模型以及各层级的用途。重点阐述了ODS、DWD、DWS和ADS层的功能，并提出了开发规范和常见误区，旨在规范数据处理并提高效率。
摘要由CSDN通过智能技术生成

Hive - 数仓的分层理论

大数据职业规划

数据仓库 --> 数据开发 --> 数据挖掘 --> 全栈架构

在这里插入图片描述

数据仓库的用途

  • 整合公司所有业务数据，建立统一的数据中心
  • 产生业务报表，用于作出决策
  • 为网站运营提供运营上的数据支持
  • 可以作为各个业务的数据源，形成业务数据互相反馈的良性循环
  • 分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果
  • 开发数据产品，直接或间接地为公司盈利

数仓运行简图

在这里插入图片描述

数仓分层

1. 分层原因

  • 把复杂问题简单化：将复杂的任务分解成多层来完成，每一层只处理简单任务，方便定位问题。
  • 减少重复开发：规范数据分层，通过中间层数据，能够减少大量的重复计算，增加一次计算结果的复用性。
  • 隔离原始数据：不论是数据的异常还是数据的敏感性，使真实数据与统计数据隔离开。

2. 基本分层模型

ODS（数据源层，原始数据） – ETL --> DWD（数据明细层） – hive sql --> DWS（数据汇总） – sqoop --> ADS（数据应用：报表、用户画像）

在这里插入图片描述

3. 数据仓库分层

3.1 数仓分层概述

在阿里巴巴的数据体系中，建议将数据仓库分为三层，自下而上为：

  • 数据引入层（ODS，Operation Data Store）
  • 数据公共层（CDM，Common Data Model）
    • 公共维度层（DIM，Dimension）
    • 数仓明细层（DWD，Data Warehouse Detail）
    • 数据汇总层（DWS，Data Warehouse Service）
  • 数据应用层（ADS，Application D
最低0.47元/天 解锁文章
「已注销」
关注
Hive数仓分层架构
weixin_58078092的博客
10-28 4213
文章目录一、为什么要进行数据分层？数据分层的好处？1、原因2、好处二、hive数仓分为哪几层？1、ODS层:数据运营层（贴源层）作用我们需要做的是？2、DW层： 数据仓库层(1)DWD层：数据明细层(2)DWM层：数据中间层(3)DWS层：数据服务层3、ADS层 一、为什么要进行数据分层？数据分层的好处？ 1、原因 对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控。 2、好处 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据血缘
Hive数据分层（ODS,DW,ADS）
m0_52184330的博客
10-25 7529
Hive中的数据分层 前言 这篇文章简单介绍一下hive的数据分层 理论上分为三层：ODS数据运营层，DW数据仓库层，ADS数据服务层， 数据运营层（ODS）:原始数据： 　　ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。 　　ODS层数据的来源方式： 　　　　1.业务库 : 经常会使用sqoop来抽取，例如每天定时抽取一次。实时方面，可以考虑用canal监听mysql的binlog
详解数仓分层设计架构 ODS-DWD-DWS-ADS
最新发布
hellozhxy的博客
08-09 649
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
hive分层结构
qq_48959845的博客
03-01 1785
hive分层结构 hive分层结构是根据不同的业务需求而设计的。目前主流的就两种设计 三层结构 ODS层：临时存储层，一般来说是对企业中所产生的数据采集过来做临时存储，对数据源系统做解耦合，为下一步分析做准备 DW层：数据仓库层，数据加工与整合 DA层：数据应用层，提供产品和数据分析所使用的数据 四层结构 ODS层：临时存储层，一般来说是对企业中所产生的数据采集过来做临时存储，对数据源系统做解耦合，为下一步分析做准备 PWD层：数据仓库层，数据仓库层，数据加工与整合 DM层：为数据集市层，这层数据是面向主题
Hive数仓分层
m0_73623240的博客
10-24 1578
hive数仓分层知识点整理
hive数仓分层
qq_58355375的博客
07-01 427
从ODS层到ADS层，Hive的数据仓库架构形成了一个清晰、高效的数据处理和分析流程。ODS层提供了原始数据的存储；DWD层对数据进行清洗和规范化；DIM层提供了维度数据；DWS层整合了数据并提供了高度汇总的数据；最后，ADS层将数据提供给数据产品和数据分析使用。这个流程确保了数据的高效处理和分析，为业务决策提供了有力的支持。
Hive_数仓分层理论及命名规范
qq_56870570的博客
08-19 2718
1. 数仓分层框架 ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 DWD层：对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、脱敏等。保存业务事实明细，一行信息代表一次业务行为，例如一次下单。 DIM层：维度层，保存维度数据，主要是对业务事实的描述信息，例如何人，何时，何地等。 DWS层：以DWD为基础，按天进行轻度汇总。一行信息代表一个主题对象一天的汇总行为，例如一个用户一天下单次数（按天）。 DWT层：以DWS为基础，对数据进行累积汇总.
Hive之数仓的分层及建模理论
qq_56870570的博客
07-20 9191
数据仓库的用途 整合公司所有业务数据，建立统一的数据中心 产生业务报表，用于作出决策 为网站运营提供运营上的数据支持 可以作为各个业务的数据源，形成业务数据互相反馈的良性循环 分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果 开发数据产品，直接或间接地为公司盈利 数仓运行简图 数据集市与数仓的区别 数据集市（Data Market）：是一种微型的数据仓库，它通常有更少的数据，更少的主题区域，以及更少的历史数据，因此是部门级的，一般只能为某个局部范围内的管理人员服务。 数据仓库
Hive之数仓的分层及建模理论（2）
qq_55724067的博客
07-23 332
数据仓库分层 1 数仓分层概述 在阿里巴巴的数据体系中，建议将数据仓库分为三层，自下而上为： 数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。 数据公共层CDM（Common Data Model，又称通用数据模型层）:包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建
离线数仓03-数仓分层业务逻辑
qq_43523503的博客
03-07 1052
1 数仓分层 1.1 为什么要分层？ （1）把复杂的问题简单化 把复杂的任务分解为多层完成，方便定位问题~ 少写了很多复杂的sql （2）减少重复开发 规范数据分层，通过中间数据，可以减少极大的重复计算，增加复用性 中间结果保存出来，以后拿数据就能从中间获取，不用从最开始的数据拿 （3）隔离原始数据 将真实数据和要使用的统计数据解耦开； 权限管理：控制哪些人可以访问哪些表。 --数据怎么到ODS层？ 1. load 2. flume -> hive sin
第四节课 hive的表分层
m0_47120517的博客
11-29 1553
hive调优优化 建表注意事项 1、分区，分桶 一般按照业务日期进行分区 2、一般使用外部表，避免数据误删 3、选择适当的文件储存格式及压缩格式 4、命名规范 5、数据分层，表分离 分区裁剪 where过滤，先过滤再join 分区分桶，合并小文件 左连接的时候，大表再左边，小标再右边 order by语句：是全局排列 sort by语句：是单reduce排序 只有一个reduce和order bu 没有区别 distribute by语句：是分区字段； cluster by语句：
hive分层设计详解
wuyue的博客
08-28 5123
今天也要努力学习 源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。 细节层（DW）：为数据仓库层，DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的...
Hive数仓分层设计思路
weixin_42497376的博客
10-16 207
4.标准化数据层：对集成数据进行标准化和规范化，使得数据能够被更多的应用程序和用户使用，例如：将日期格式统一、将数据值统一转换为中文。3.集成数据层：将不同数据源的数据整合到一个数据仓库中，包括清洗数据层、外部数据源、应用程序数据源等，生成集成后的数据文件。2.清洗数据层：对原始数据进行基本的清洗和预处理，如去除重复数据、填充缺失值、转换数据类型等，生成清洗后的数据文件。5.数据标签层：对数据进行标签化，即将数据按照业务属性、数据源、时间等维度进行分类和标记，方便数据查询和分析。
hive数仓相关
weixin_42644102的博客
03-28 1662
最近在做hive相关的项目，以前做spark也没有太关注数仓，这更多的是关于切入问题解决问题的思路记录。 主要就是基于主题库的数据建立对应的专题库以供对应专题服务。一开始因为spark招的我，结果让我来做hive，没办法，拿人钱财，替人解忧，于是乎哼哧哼哧做数仓去了，但是没有经验的我，又没人带只有自己加油搞了咯。好歹自己还有些hive的底子。 速成策略： 1.首先了解数仓相关知识 2.了解事实表与...
Hadoop---Hive 数据仓库基础理论，构架原理
yidianyidei的博客
08-10 223
文章目录Hadoop-----Hive（数据仓库基础理论）Hive基本概念***\*1.1 什么是Hive\*******\*1.2 Hive的优缺点\*******\*1.2.1 优点\*******\*1.2.2 缺点\****主要特点***\*1.3 Hive架构原理\*******\*1.4 Hive和数据库比较\*******\*1.4.1 查询语言\*******\*1.4.2 数据存储位置\*******\*1.4.3 数据更新\*******\*1.4.4 执行引擎\****Mysql 执行
数仓分层
weixin_30548917的博客
08-22 137
ODS：原始数据层 DWD或DWI：明细数据层 DWS：服务数据层或轻度汇总层 ADS：数据应用层 转载于:https://www.cnblogs.com/lidapengwww/p/11392819.html
从0开始学大数据-数据仓库理论篇
DigNew
07-22 716
什么是数据仓库数据仓库（DW）是一个 面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。“建立数据仓库的目的是为企业高层系统地组织、理解和使用数...
Hive数据分层有哪些优点？具体每一层含义是什么？
Blue92120的博客
05-25 1526
业务层DWS（Data WareHouse Service）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。下面详细介绍这三层的设计。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。中间层DWM（Data WareHouse Middle）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。
hive -e和hive -f区别
03-31
hive -e是执行一条完整的Hive SQL语句，而hive -f是执行一个指定的Hive SQL文件中的所有语句。 具体来说，hive -e后面跟着一条完整的Hive SQL语句，例如： ``` hive -e "select * from mytable where id=1;" ``` 这个命令会直接执行这条SQL语句并返回结果。 而hive -f后面跟着一个指定的Hive SQL文件路径，例如： ``` hive -f /path/to/myfile.sql ``` 这个命令会执行该文件中的所有SQL语句，可以包含多条语句，每一条语句以分号结尾。执行完所有语句后，会输出最后一条语句的结果。 总的来说，hive -e适合执行简单的SQL语句，而hive -f适合执行复杂的SQL语句或包含多条语句的文件。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值