数据仓库DW-理论知识储备

已于 2023-12-01 17:01:56 修改
阅读量1.5k 收藏 3
点赞数 1
分类专栏： 大数据 文章标签： 大数据
于 2023-10-11 17:42:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52938172/article/details/133341072
版权

数据仓库DW

数据仓库具备 采集数据、存储数据、分析和计算 的功能，最后得出一些有用的数据，一些目标数据来使用。

采集来自不同源的数据，然后对这些数据进行分析和计算得出一些有用的指标，提供数据决策支持。

数据的来源有：系统的业务数据、用户的行为数据、爬虫数据等。

数据仓库包含：实时数据仓库、离线数据仓库。

在这里插入图片描述

数仓分层

数据仓库中的数据一般经过以下几层处理，每层都对数据进行特定的处理：参考来自

其实这个分层只是主流是这样的，具体要分几层，怎么分，还是要根据自己的业务来，怎么分层好分析数据，就怎么分。

1.ODS
ODS主要完成：

（1）保持数据原貌不做任何修改，保留历史数据，储存起到备份数据作用，采集过来是什么数据就存储什么数据；

（2）数据一般采用lzo、Snappy、parquet等压缩格式；

（3）创建分区表，防止后续的全表扫描，减少集群资源访问数仓的压力，一般按天存储在数仓中。

2.DWD

DWD主要完成：

1. 数据清洗
（1）去除空值、脏数据、超过极限范围的数据。
（2）过滤核心字段无意义的数据，比如订单表中订单 id 为 null，支付表中支付 id 为空
（3）将用户行为宽表和业务表进行数据一致性处理

        清洗的手段包括Sql、mr、rdd、kettle、Python等等。清洗掉数据不能太多也不能很少。合理范围：1 万条数据清洗掉 1 条。

2. 脱敏
        对手机号（181****7089）、身份证号等敏感数据脱敏

3. 维度退化
        对业务数据传过来的表进行维度退化和降维。（商品一级二级三级、省市县、年月日）

4. 压缩

        LZO，列式存储 parquet

3.DWS

        以DWD为基础，进行轻度的汇总。预聚合。
        DWS层就是关于各个主题的加工和使用，这层是宽表聚合值，是各个事实表的聚合值。这里做轻度的汇总会让以后的计算更加的高效，如：统计各个主题对象计算7天、30天、90天的行为， 应对特殊需求（例如，购买行为，统计商品复购率）会快很多不必走ODS层反复拿数据做加工。     

        这层会把每个用户单日的行为聚合起来组成一张多列宽表，以便之后关联用户维度信息后进行，不同角度的统计分析。

        涉及的主题包括：访客主题、用户主题、商品主题、优惠券主题、活动主题、地区主题等

      

4.DWT
        这层涉及的主题和DWS层一样包括：访客主题、用户主题、商品主题、优惠券主题、活动主题、地区主题等。只不过DWS层的粒度是对当日用户汇总信息，而DWT层是对截止到当日、或者近7日、近30日等的汇总信息。

        以用户主题这个来举列：

*DWS层：用户主题层是记录某一个用户在某一天的汇总行为。

*DWT层：用户主题层是记录某一个用户截止在当日的汇总行为。

5.ADS

统计指标。
ADS层数据是专门给业务使用的数据层，这层是面向业务定制的应用数据层。

ADS主要完成：

（1）提供为数据产品使用的结果数据、指标等。

（2）提供给数据产品和数据分析使用的数据，一般会存放在 ES、MySQL等系统中供线上系统使用，也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。如报表数据，或者说那种大宽表。

        这个项目中ADS层也是包含有多个主题：设备主题、会员主题、商品主题、营销主题、地区主题、访客主题、用户主题、订单主题、优惠券主题、活动主题等等。每个主题都包含多个指标的计算。

离线数仓

通常是批处理数据，数据可能一直产生，也有可能断断续续的产生，但是这些数据我先攒着，攒成一批后再处理。一般攒一天处理一次，所以是批处理数据量大，处理时间长。

离线数仓架构参考图

业务数据存储在MySQL，用户行为数据存储在日志文件中。这两个数据源都要先采集进来然后进行分析计算等，因为数据量会比较大，所以采用Hadoop的HDFS存储。

业务数据在MySQL中，由于是离线数仓，所以每天进行全量同步一次数据到HDFS中即可，这边我也不知道为啥还要进行增量同步到kafka中，然后由消费者发送给HDFS存储。

日志文件由flume监控采集，又因为日志文件比较大，如果flume采集完就直接发送给HDFS效率不好，所以flume采集完先发送给kafka的主题中，接着flume消费者订阅这个主题，消费日志文件发送给HDFS存储，kafka消息队列在这起消峰的作用。

经过上面的步骤后，数据就全部来到了HDFS中供使用。数据经过ODS、DWD、DWS、ADS层层处理产生想要的结果后，数据处理经过这些层，这些层总要有先后，定时任务调度的作用就是：如果数据在ODS处理好了，就可以自动进入到下一层DWD继续处理。层层处理后的想要结果由DataX将结果每日同步到MySQL中方便进行后续的使用，比如Superset可视化展示。

实时数仓

数据源源不断的来，和离线数仓相反，数据不攒了，一有数据来我就处理，数据跟流水一样来，所以是流式处理数据，处理时间较短。

实时数仓用来处理那些实时性高的数据。

实时数仓架构参考图

实时的话，创建flink消费者从kafka中取出数据，那我就理解了为啥业务数据也要增量同步发给kafka了，因为实时处理需要，所以kafka就是ods层，flink进行简单处理后发送给DWD层。

flume采集文件案例

以下的架构就是一个实时数仓的简单架构，flume一直监控数据文件，只要一有文件来，就会被flume采集然后发给kafka主题，接着就会被flink消费。

在这里插入图片描述

用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。由于用户的行为数据比较多，所以用户行为数据通常存储在日志文件中。

 在flume的家目录中，采集一个job文件夹存放flume的配置文件，file_to_kafka.conf：

a1.sources = r1
a1.channels = c1

#配置source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /mydata/spoolingDir

#配置channel         org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = 192.168.10.128:9092
a1.channels.c1.kafka.topic = topic_log
a1.channels.c1.parseAsFlumeEvent = false

#组装 
a1.sources.r1.channels = c1

启动：

bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf -Dflume.root.logger=info,console

  • bin/flume-ng：这是启动 Flume 的可执行文件。
  • agent：指定要运行的 Flume 组件类型，这里是代理（agent）。
  • -n a1：指定代理的名称，这里是 "a1"。
  • -c conf/：指定配置文件的目录，Flume 会在该目录下查找配置文件。
  • -f job/file_to_kafka.conf：指定要使用的配置文件的路径，这是 Flume 的配置文件，它描述了数据传输的配置。
  • -Dflume.root.logger=info,console：设置 Flume 的日志级别和输出方式。在此设置中，日志级别为 "info"，并将日志输出到控制台。

数仓技术选型

数据采集：如果数据是以文件形式存在可以使用flume监控采集，MySQL中的数据可以使用DataX采集

数据存储：数据量比较小可以用MySQL存储，数据量大用HDFS

数据计算：实时性要求高用flink流式处理

ETL和ELT

躺着听Jay
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
数据仓库理论知识
默主归沙的博客
06-06 3473
通常数据仓库的数据来自各个业务应用系统。业务系统中的数据形式多种多样，可能是 Oracle、MySQL、SQL Server 等关系数据库里的结构化数据，可能是文本、CSV 等平面文件或 Word、Excel 文档中的数据，还可能是 HTML、XML 等自描 述的半结构化数据。这些业务数据经过一系列的数据抽取、转换、清洗，最终以一种统一的格式装载进数据仓库。数据仓库里的数据作为分析用的数据源，提供给后面的即席查询、 分析系统、数据集市、报表系统、数据挖掘系统等。这时我们就想了，为什么不能把业务系统的数据直接
dw-apb-uart
04-24
标题中的“dw-apb-uart”指的是一个基于DesignWare（DW）APB（Advanced Peripheral Bus）接口的UART（Universal Asynchronous Receiver/Transmitter）模块。UART是一种常见的串行通信接口，用于设备之间的数据传输，...
数据仓库模型ETL架构(DWI/DWR/DM)
weixin_30342827的博客
07-02 5719
1.DWI DWI：数据湖、数据砥柱，一般存放在HDFS 数据仓库的基础数据来源，各种杂七杂八的数据 关键点：数据清洗、数据整合、异常处理、增量获取 ETL：E-数据抽取、数据清洁、格式转换，T-生成代理键ID、遵循三范式，L-数据加载 2.DWR DWR：数据仓库的中间层，星型结构 根据业务划分：维度数据(区域、项目、工厂等)、交易数据(存量、发货、订单等) 3.DM ...
数据仓库介绍（DW）
weixin_65244004的博客
12-26 3236
数据仓库介绍
数仓开发，分层（ods,dw,app层）
最新发布
DrKYQ的博客
05-08 572
10、DW第一层我们就可以把，ODS层里面的销售，订单表，都汇总到第一层来，有一张所有商品订单的大表，从线上支付，商城支付就可以分成，线上和线下支付，从退款，换货，我们可以把他理解成为一个词叫核销，是否订单交易成功，支付金额，在订单表中，也可以从退换货分成库调表，退是返回库中，换是从库中拿取物品。8、从ODS层我们可以获知有关于门店的销售明细，详情，线上支付，商城支付，商城订单，商城退款，商城退款明细，商城退换货————————这些都是有关于销售有关的数据表。6、通过某些指标我们可以确定ADS层的表。
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
jane9872的博客
06-13 2465
答：嗯，我是这样理解的，站在一个理想的角度来讲，如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。数据集市（Data Mart），也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。该层是在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。
DW的知识
weixin_57763146的博客
09-06 846
13、DW中窗口视图： 1）代码（code）：网页的文本语言 2）设计（design）：效果图接近浏览器中效果 3）拆分（split）：两个视图窗口，即代码视图+代码效果图 注：a. 设置代码效果图显示参考尺寸1280px b. 代码效果图窗口右下角”窗口大小”可设置窗口显示尺寸; 还可以通过窗口右下角”窗口大小”中的”编辑大小”添加窗口大小显示尺寸 （首选项窗口大小） c. F5刷新页面 d. 浏览器-...
dw-question-answer
01-21
标题 "dw-question-answer" 暗示我们讨论的是与数据仓库（Data Warehouse，简称DW）相关的问答系统或者处理流程。描述中的同样信息“dw-question-answer”可能是项目、工具或者技术的名称，但没有提供具体细节，因此...
DW-GAN-Dehazing
04-17
DW-GAN：用于非均匀图像去雾的离散小波变换GAN 这是DW-GAN的官方PyTorch工具。 在 ， 和查看更多详细信息 环境： Ubuntu的：18.04 CUDA版本：11.0 Python 3.8 依存关系： 火炬== 1.6.0 火炬视觉== 0.7.0 ...
数据仓库（DW）初阶
09-11
数据仓库（DW）初阶
数据仓库DW－初阶（数据仓库入门级教材）
03-07
数据仓库入门级教材。 amt-企业资源管理研究中心版权所有
DW-TX382-1并1串专用驱动.zip
07-19
标题“DW-TX382-1并1串专用驱动.zip”揭示了这是一个专为DW-TX382设备设计的驱动程序，该设备具备一个并行接口和一个串行接口。驱动程序在计算机硬件和操作系统之间起着桥梁的作用，允许系统识别和充分利用特定硬件...
【数据开发】DW数仓分层设计架构与同步策略（ODS、DWD、DWS等字段含义）
小哈里的博客
10-04 2221
文章目录 1、什么是数据仓库（DW） 2、DW分层设计架构（ODS，DWD，DWS） 3、数仓同步策略 1、什么是数据仓库（DW） Data warehouse（可简写为DW或者DWH）数据仓库是什么？ 是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听
数据仓库介绍
qq_43842093的博客
12-23 260
​ 1、什么是数据仓库？​ 存储数据的仓库, 主要是用于存储过去既定发生的历史数据, 对这些数据进行数据分析的操作, 从而对未来提供决策支持​ 2、数据仓库最大的特点：​ 既不生产数据, 也不消耗数据, 数据来源于各个数据源​ 3、数据仓库的四大特征：​ 1) 面向于主题的: 面向于分析, 分析的内容是什么 什么就是我们的主题​ 2) 集成性: 数据是来源于各个数据源, 将各个数据源数据汇总在一起。
DW基础教程（一）
热门推荐
weixin_57762542的博客
08-08 1万+
1.首先我们要知道什么是DW，DW的全名是Adobe Dreamweaver,简称DW，DW最初是Macromedia公司开发的，到2005年被Adobe公司收购。DW是集网页制作和管理网站于一身的所见即所得网页代码编辑器。利用对HTML、CSS、JavaScript等内容的支持，程序员可以在任何地方进行网页设计。 2.所以我们首先认识什么是HTML、CSS、JavaScript。 3.HTML是超文本标记语言(Hyper Text Markup Language)，标准通用标记语言下的一 个应用。H.
数据仓库内容分享(六)：数据仓库层次化设计
之乎者也·的博客
01-28 1092
数据分层在数据仓库设计中扮演着关键角色，合理的分层设计有助于使整个数据体系更易于理解和使用。然而，目前网络上关于数据分层设计的文章大多只是简单提及，或者缺乏明确而详细的说明，亦或者缺乏可实际实施的方案和具体的示例说明。因此，本文旨在提供一种通用的数据仓库分层方法，具体包括以下内容：1、介绍数据分层的作用。2、提出一种通用的数据分层设计，并明确分层设计的原则。3、通过具体的例子进行说明。4、提出可实际实施的实践建议。接下来，我们将详细讨论这些内容。
dw-apb-gpio
10-20
DW-APB-GPIO是一种数字逻辑控制接口，用于在DW_APB总线上连接和控制GPIO外设。GPIO是通用输入输出引脚，可用于连接外部设备如传感器、执行器等。 DW-APB-GPIO有助于实现控制系统和外部设备之间的数据交互。通过DW_APB总线和GPIO控制器，我们可以配置和操作这些GPIO引脚的不同功能和电平状态。 DW-APB-GPIO提供了多个寄存器用于配置和控制GPIO引脚的工作模式，例如输入模式、输出模式、中断模式等。可以通过读取和写入这些寄存器，来控制GPIO引脚的电压状态和信号传输。 DW-APB-GPIO还支持中断功能，可以配置GPIO引脚在特定条件下触发中断，以便系统能够及时响应外部事件或状态变化。 此外，DW-APB-GPIO还支持多个GPIO引脚的组合操作，可以同时读取或写入多个引脚的状态，提高数据交互的效率。 总的来说，DW-APB-GPIO是一种用于控制GPIO外设的数字逻辑接口，通过DW_APB总线连接到系统中，可以配置和控制GPIO引脚的工作模式、电平状态和中断功能，实现系统与外部设备的数据交互。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

躺着听Jay

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值