离线数仓03-数仓分层业务逻辑

最新推荐文章于 2024-04-16 14:22:58 发布
最新推荐文章于 2024-04-16 14:22:58 发布
阅读量1k 收藏 5
点赞数 1
分类专栏： 大数据项目实战 文章标签： 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43523503/article/details/114424983
版权
大数据项目实战 专栏收录该内容
9 篇文章 20 订阅 ¥19.90 ¥99.00
订阅专栏

1 数仓分层

image-20201229090221736

1.1 为什么要分层？

（1）把复杂的问题简单化

  • 把复杂的任务分解为多层完成，方便定位问题~

  • 少写了很多复杂的sql

（2）减少重复开发

  • 规范数据分层，通过中间数据，可以减少极大的重复计算，增加复用性

    中间结果保存出来，以后拿数据就能从中间获取，不用从最开始的数据拿

（3）隔离原始数据

  • 将真实数据和要使用的统计数据解耦开；

  • 权限管理：控制哪些人可以访问哪些表。

--数据怎么到ODS层？
了解本专栏 订阅专栏 解锁全文
最佳第六六六人
关注
专栏目录
订阅专栏
离线数仓-数据治理
爱吃辣条的博客
02-03 1474
离线数仓-数据治理
[数仓]三、离线数仓（Hive数仓系统）
最新发布
weixin_44428807的博客
07-08 922
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。
离线数仓分层（基础）
wind96的博客
11-01 1794
数仓分层基础知识，面试复习
离线数仓 (八) --------- 数仓分层
在森林里麋了鹿
10-24 1311
数仓分层
离线数仓分层
weixin_44870066的博客
05-25 713
对业务模型进行抽象处理成一个个业务概念实体，最常见的就是E-R模型，与具体数据库系统无关，必须转化为逻辑或者物理数据模型才能在数据库系统中实现，概念模型就像是er图记录整体概览，包括了每一步操作，像是大图展示。按照主题域、颗粒度（例如买家、卖家）划分，按照周期粒度、维度聚合形成指标较多的宽表，用于提供后续的业务查询，数据应用，最重要一点需要在DWS层完成指标口径统一及沉淀。是数仓明细数据层，对ODS层的数据进行关联，清洗，维度退化（将维度表中维度数据放入明细表中），转换，主题域建设等操作。
离线数仓的数仓分层
qq_42456324的博客
04-19 716
ods层：保留数据的原始性ODS层保存所有操作数据，不对原始数据做任何处理。在业务系统和数据仓库之间形成一个隔离，源系统数据结构的变化不影响其他数据分层。减轻业务系统被反复抽取的压力，由ODS统一进行抽取和分发。fds层：对数据进行解析过滤映射等操作。
离线数仓经验之谈二-数仓开发规范
DolphinF的博客
06-15 418
此外，数仓数据在ETL处理时，并非所有的情况都需要查询原表所有字段，而是其中的部分关键字段。为了增强代码的可读性，必要的时候需添加代码逻辑说明，且统一使用如下格式的脚本头部注释，说明该脚本的业务用途（该项可由项目空间管理员在项目内统一配置）。描述：以分析的主题对象作为建模驱动，基于应用和产品的指标需求，构建公共粒度的轻度或重度汇总指标事实，为应用服务层提供相对稳定的数据模型。装载周期：min（分钟）、h（小时）、d（天）、w（周）、m（月）、q（季）、y（年），不写默认为天处理。
离线数仓总结
wywwyx090104的博客
08-17 3816
离线数仓总结 一、1、背景介绍（某APP上线后，由于业务模式新颖，市场需求量大，经过一段时间的精心运营后，逐渐积累起了上千万会员，以及三四百万的日活量， app的业务功能和产品种类、数量也急速膨胀；主要问题有：营销分析断层；产品迭代无法量化；用户运营不精准；全局运营指标监控不实时） 2、需求总览：流量域分析 2.1、基础数据分析（整体概况、用户获取、活跃与留存、事件转化、用户特征） 2.2、基础数据分析指标概览 整体概况：产品整体的使用情况，包括用户量、访问情况、留存等帮助对产品整体指标有一个大致的了解（累
Hive+Spark离线数仓工业项目实战--数仓设计及数据采集（1）
技术专家
12-23 2007
Hive+Spark离线数仓工业项目实战--数仓设计及数据采集
数据仓库数据分层结构
03-02
数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。 数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受——数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。
离线数仓分层模型
qq_67725855的博客
04-16 334
数据从原始数据层中抽取出来，并进行清洗转换，规范化，清洗转换过程中用于解决数据质量问题，例如取出重复值，处理缺失数据，标准化格式，转换过程用于将数据转化为符合数据仓库模型结构。存储最原始的，未经处理的数据，原始数据可以来自各种数据源，例如数据库，日志文件，在原始数据层，数据以最原始的形式进行存储，通常不进行任何处理，以确保数据的完整性和可追溯性。数据查询的最上层，它为业务用户提供了查询和报告的接口，在这一层，用户可以执行复杂的数据查询，多维分析和报表生成。2.DWD： 数据明细层 ： 清洗过滤后的数据。
数仓分层
pengjunlee的博客
03-09 2152
数据仓库和数据仓库分层 数据仓库的概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库，并不是数据的最终目的地，而是为数据最终的目的地做好准备。这些准...
【离线数仓】Day02-用户行为数据仓库：分层介绍、环境搭建（hive、tez）、LZO压缩、建表查询导入加索引、编写脚本...
USTSD的博客
12-04 283
一、数仓分层概念 1、为什么要分层 ODS：原始数据层 DWD层：明细数据层 DWS：服务数据层 ADS：数据应用层 2、数仓分层 3、数据集市与数据仓库概念　 4、数仓命名规范 ODS层命名为odsDWD层命名为dwdDWS层命名为dwsADS层命名为ads临时表数据库命名为xxx_tmp备份数据数据库命名为xxx_bak 二、数仓环境搭建 1、Hive&My...
离线数仓分析
weixin_55769260的博客
03-23 2755
离线数仓 第一步、获取数据源 （1）安装nginx （2）上传shop.html文件到/var/www/html目录 （3）在浏览器通过192.168.1.11（自己的id）/shop.html访问网页产生日志 （4）监控nginx生成的访问日志:sudo tail -F /var/log/nginx/access.log 第二步、Flume采集日志到HDFS 准备工作： 1、开启三台虚拟机 2、开启三个节点的zookeeper的服务 3、在master开启hadoop和yarn （1）创
离线数仓02-业务数据采集平台
qq_43523503的博客
03-07 345
1 电商业务简介 1.1 电商业务流程 1.2 电商常识 SKU=Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。 SPU（Standard Product Unit）：是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息集合。 例如：iPhoneX手机就是SPU。一台银色、128G内存的、支持联通网络的iPhoneX，就是SKU。 SPU表示一类商品。好处就是：可以共用商品图片，海报、销售属性等。 1.3
离线数据仓库
小道的博客
02-12 3060
离线数据仓库知识点
离线数仓和实时数仓架构与设计
热门推荐
李文良的博客
09-27 11万+
前言：离线数仓和实时数仓架构与设计讲解 离线数仓和实时数仓架构与设计一、数仓架构演变（场景驱动）二、离线大数据架构三、离线数仓分层四、离线大数据架构典型案例1、Lambda架构1.Lambda架构2.Lambda架构进一步了解3.Lambda架构典型案例4.Lambda架构典型案例（有赞广告团，基于Druid）5.Lambda架构存在的问题2、Kappa架构1.Kappa架构典型案例2.Kappa架构典型案例（一Kylin为例）3.Kappa架构的重新处理过程3、Lambda架构 vs Kappa架构的对比
离线数仓分层事如何设计的
07-29
离线数仓的分层设计通常包括贴源层（ODS）、明细层（DWD）、维度层（DIM）、轻度聚合层（DWS）、主题层（DWT）、数据中间层（DWM）和结果展示层（ADS）\[1\]。 贴源层（ODS）是数仓中最底层的层次，用于接收和存储原始数据。在这一层，数据被抽取、清洗和转换为可用于后续处理的格式。 明细层（DWD）是在贴源层之上的一层，用于存储经过处理和加工的原始数据。在这一层，数据被进行清洗、整合和转换，以满足业务需求。 维度层（DIM）是用于存储维度数据的层次。维度表是基于原始数据层提取公共指标进行维度建模的结果\[2\]。在这一层，维度数据被提取出来，并与事实数据进行关联。 轻度聚合层（DWS）是在明细层之上的一层，用于存储经过聚合的数据。在这一层，数据被进行聚合操作，以提高查询性能和减少数据量。 主题层（DWT）是在轻度聚合层之上的一层，用于存储按照业务主题组织的数据。在这一层，数据被按照业务主题进行组织和汇总，以支持特定的分析和报表需求。 数据中间层（DWM）是用于存储数据处理过程中的中间结果的层次。在这一层，数据被用于支持数据处理的各个阶段，例如数据清洗、转换和集成。 结果展示层（ADS）是数仓中最顶层的层次，用于存储最终的分析结果和报表数据。在这一层，数据被用于生成各种分析报表和可视化展示。 离线数仓的分层设计可以根据具体业务需求和数据处理流程进行灵活调整，但通常遵循以上的基本分层结构\[1\]。 #### 引用[.reference_title] - *1* *2* [离线数仓分层（基础）](https://blog.csdn.net/wind96/article/details/127641942)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [离线数仓 (八) --------- 数仓分层](https://blog.csdn.net/m0_51111980/article/details/127491547)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最佳第六六六人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值