实时数仓DWS层的定位

最新推荐文章于 2024-04-08 21:36:18 发布
最新推荐文章于 2024-04-08 21:36:18 发布
阅读量488 收藏 1
点赞数
分类专栏： 实时数仓 文章标签： 实时数仓
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42796403/article/details/115143852
版权

实时数仓DWS层的定位

  1. 轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力是非常大的。
  2. 将更多的实时数据以主题的方式组合起来便于管理，同时也能减少维度查询的次数。

1. DWS层:访客主题宽表

设计一张DWS层的表其实就两件事：维度和度量(事实数据)

  • 度量包括PV、UV、跳出次数、连续访问页面数、连续访问时长
  • 维度包括在分析中比较重要的几个字段：渠道、地区、版本、新老用户进行聚合
需求分析与思路
  1. 接收各个明细数据，变为数据流
  2. 把数据流合并在一起，成为一个相同格式对象的数据流
  3. 对合并的流进行聚合，聚合的时间窗口决定了数据的时效性
  4. 把聚合结果写在数据库中

2.DWS层:商品主题宽表

与访客的dws层的宽表类似，也是把多个事实表的明细数据汇总起来组合成宽表

需求分析与思路

  1. 从Kafka主题中获得数据流
  2. 把Json字符串数据流转换为统一数据对象的数据流
  3. 把统一的数据结构流合并为一个流
  4. 设定事件时间与水位线
  5. 分组、开窗、聚合
  6. 写入ClickHouse
大数据面壁者
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink电商实时数仓项目04-DWS层
qq_43523503的博客
03-06 595
1 DWS层和DWM层的设计 1.1 DWS层 前面的总结 DWS层的定位是什么呢？ 轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细那么查询的压力非常大。 将更多的实时数据以主题的形式组合起来便于管理，同时也能减少维度查询的次数。 ODS层: -- 日志数据： nginx+日志采集服务器(3台) 将数据采集到Kafka(ods_base_log) -- 业务数据： Maxwell监控MySQL(binlog) 将数据采集到Kafka(ods_b
Flink实时数仓项目—DWS层设计与实现
yunweijie_cn的博客
04-21 1811
Flink实时数仓项目—DWS层设计与实现前言一、需求梳理1.需求梳理2.DWS层定位二、DWS层—访客主题宽表的实现1.访客主题的需求2.访客主题宽表的设计3.实现思路4.代码实现三、DWS层—商品主题宽表的实现1.商品主题需求2.商品主题宽表的设计2.1 维度字段2.2 度量值2.3 其他字段3.商品主题宽表实体类4.功能实现 前言 在前面通过使用分流等方法，把数据拆分成了独立的Kafka Topic，接下来我们就要根据需求得出要计算哪些指标项。我们把指标以主题宽表的形式输出就是DWS层要做的事情。
【实时数仓】DWS层的定位、DWS层之访客主题计算（PV、UV、跳出次数、计入页面数、连续访问时长）
weixin_43923463的博客
12-23 1420
如果是一流对多表，就必须通过自定义的方式实现了，比如之前的维度数据。为何要写入ClickHouse数据库，ClickHouse数据库作为专门解决大量数据统计分析的数据库，在保证了海量数据存储的能力，同时又兼顾了响应速度。因为实时计算与离线不同，实时计算的开发和运维成本都是非常高的，要结合实际情况考虑是否有必要像离线数仓一样，建一个大而全的中间层。轻度聚合，因为DWS层要应对很多实时查询，如果是完全的明细，查询的压力是非常大的。将更多的实时数据以主题的方式组合起来便于管理，同时也能减少维度查询的次数。
大数据分层存储架构：ODS、DWD、DWM与DWS详解
最新发布
weixin_41544125的博客
04-08 2038
通过这种分层存储结构，大数据系统可以更好地满足不同层次的数据需求，提高数据处理和分析的效率。同时，各层之间的数据流动和交互也变得更加清晰和可控，有助于减少数据冗余和错误，提高数据质量。在大数据领域中，ODS、DWD、DWM和DWS代表了数据仓库的不同层次，它们共同构成了大数据的分层存储结构。这种结构的设计有助于提高数据查询效率，降低成本，并满足不同的业务需求。需要注意的是，具体的分层结构和命名可能因不同的公司或项目而有所差异，但总体的设计思路和原则是一致的。
【实时数仓】DWS层之商品主题计算、地区主题表（FlinkSQL）
weixin_43923463的博客
12-24 866
*** 地区主题统计 -- SQL// TODO 1 环境准备 // 1.1 流处理环境 StreamExecutionEnvironment env = StreamExecutionEnvironment . getExecutionEnvironment();// 1.2 表执行环境 StreamTableEnvironment tableEnv = StreamTableEnvironment . create(env);
【实时数仓】DWS层之地区主题表（FlinkSQL）、关键词主题表（FlinkSQL）
weixin_43923463的博客
12-25 1344
SQL 查询的分组窗口是通过 `GROUP BY` 子句定义的。类似于使用常规 `GROUP BY` 语句的查询，窗口分组语句的 `GROUP BY` 子句中带有一个窗口函数为每个分组计算出一个结果。以下是批处理表和流处理表支持的分组窗口函数：可以使用以下辅助函数选择组窗口的开始和结束时间戳以及时间属性：注意：* 辅助函数必须使用与 `GROUP BY` 子句中的分组窗口函数完全相同的参数来调用。注意：因为是事件时间，所以第一次运行rt_dblog的时候，不会触发watermark，第二次再运行rt_dbl
Spark离线数仓Flink实时数仓项目源码+部署资料.rar
03-10
实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入) ODS:Kafka 使用场景:每过来一条数据,读取到并加工处理 DIM:HBase 使用场景:事实表会根据主键获取一行维表数据(1.永久存储、2.根据主键...
实时数仓3.0数据流转图
05-18
数仓3.0数据流转分析，清晰描述实时 ods ->dim/dwd->dws 的数据域及主题域等数据流转依赖关系
实时数仓的过去现在和未来.docx
04-26
ODS层保存原始数据，DWD、DWB和DWS层则分别进行数据清洗、规范化和轻度聚合，最终形成可供业务查询和分析的数据服务层。 实时数仓的常见方案包括Lambda和Kappa架构。Lambda架构是在离线大数据架构基础上添加实时...
FlinK+Hologres实时数仓在Lazada的建设及应用.pdf
01-25
其中，数据模块主要使用Hologres实时数仓、数据hub、dim-维表、dwd-明细事实、dws-汇总聚合等技术；系统模块主要使用实验看板、置信度分析、人群漏斗分析、实验Dashboard等技术；应用模块主要使用自定义实验指标、...
13天玩转千亿级数仓项目视频教程（离线+实时）
07-15
1. 数仓典型分层思想（ODS、DWB、DWS、DM、ADS） 2. 数仓建设0到1的过程实战 3. 企业级数据仓库设计的规范 阶段四：基于Kylin的OLAP分析 1. Kylin自带的example案例介绍 2. Kylin的Cube创建 3. Kylin的数据膨胀介绍 ...
Flink实时数仓-03-DWS层搭建
迷雾总会解
06-02 503
设计要点：（1）DWS层的设计参考指标体系；（2）DWS层表名的命名规范为dws_数据域_统计粒度_业务过程_统计周期（window）注：window 表示窗口对应的时间范围。主要任务从 Kafka 页面浏览明细主题读取数据，过滤搜索行为，使用自定义 UDTF（一进多出）函数对搜索内容分词。统计各窗口各关键词出现频次，写入 ClickHouse。思路分析本程序将使用 FlinkSQL 实现。分词是个一进多出的过程，需要一个 UDTF 函数来实现，FlinkSQL 没有提供相关的内置函数，所以要自定义 UDT
物流实时数仓：数仓搭建（DWS）二
weixin_50835854的博客
01-05 1069
上一次的博客中，我们编写了很多第三方的工具类，所以剩下的内容搭建会简单一些。至此实时数仓的DWS层就搭建完毕了，并且代码已经全度推到了github上。
实时数仓分层介绍
延宝小白马的博客
12-06 1619
ODS: 原始数据，日志和业务数据。可通过Kafka进行收集。DWD: 根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中。DIM: 维度数据。可存储在HBase中。DWM: 对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS: 根据某个主题将多个事实数据轻度聚合，形成主题宽表。 可存储在Doris、ClickHouse、Elasticsearch中。DM/ADS: 把Doris/ClickHouse中的数据根据可视化需进行筛
flink实时数仓(二)之dwd层
bigdata_wangzhe的博客
03-24 764
我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。 每层的职能 分层 数据描述 生成计算工具 存储媒介 ODS 原始数据，日志和业务数据 日志服务器， maxwell kafka DWD 根据数据对象为单位进行分流，比如订单、页面访问等等。 FLINK kafka DWM 对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。 FLINK DIM 维度数据 FLINK HBase DWS 根据某个维度
用Flink取代Spark Streaming，知乎实时数仓架构演进
测试
02-17 2605
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进...
【电商数仓】数仓搭建之服务数据（data warehouse service-- DWS）层（DWS层概述、几个系统函数和用户主题的建立与数据导入）
weixin_43923463的博客
10-07 909
DWD层：将数据重新建模，以粒度最细的方式将所有的**明细**数据放入DWD层。在一个公司中，会计或者财务会关心明细，将明细总结形成一张资产负债表交给老板。 数仓最终形成的表格不是明细层，数据量十分大，可读性差。 最终呈现的数据是汇总过的数据，所以在DWS层需要将数据以感兴趣的角度进行汇总，如下sql，为分组汇总 按照维度进行汇总，六个维度表（商品、优惠券、活动、地区、时间、用户）。 所有能够汇总的事实按照用户维度进行汇总，就得到了一张用户主题汇总表，所有能够汇总的事实如下表所示：
【实时数仓】DWS层访客主题计算（续）、商品主题计算
weixin_43923463的博客
12-21 638
构造者就是在外部类中创建的一个内部类，然后在内部类中对属性赋值，一次赋值完成后，返回的类型是内部类自己，而上面的第二种赋值方式没有返回值，不可以链式赋值，而构造者模式可以进行链式赋值。在设计模式中有构造者模式(builder)，在类的构造器或静态工厂具有多个参数。为字段打标识通常的办法就是给字段加个注解，这里就增加一个自定义注解@TransientSink来标识该字段不需要保存到数据表中。一个订单中有多个商品需要退款，需要去重，使用HashSet，实体类中定义如下。对点击流和曝光流分别做处理。
数仓dws和dwd的区别
07-25
数仓DWS和DWD都是数据仓库的组成部分，但它们的功能和定位不同。 数据仓库DWD（Data Warehouse Detailed）是用于存储企业的详细业务数据和历史数据的中央数据存储库，可以满足企业数据分析和决策制定的需求。DWD...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值