数据仓库之【用户行为数仓】07:需求分析以及生成1个月的测试数据

57 篇文章 2 订阅 ¥59.90 ¥99.00
37 篇文章 0 订阅 ¥59.90 ¥99.00
本文介绍了数据仓库中用户行为数仓的需求分析,包括根据业务场景构建表的设计思路。详细步骤包括生成1个月(2026年2月)的测试数据,执行ODS层和DWD层的脚本,以及数据加载和验证过程。在执行脚本过程中,解决了权限问题,并展示了如何通过循环脚本加载大量数据。
摘要由CSDN通过智能技术生成

一、需求分析

前面的两层中的表和需求一般没什么关系,就是把已有的数据接入进来。然后对数据进行清洗处理。

但是后面的dws层和app层是和业务有关联的,所以在构建这两层中的表的时候,我们需要根据一些典型的业务场景来进行分析,在根据具体业务建表的时候尽可能把表设计的更加通用,可以满足后期一些类似业务需求。

就是说我们在基于业务构建表的时候,不要直接一个SQL搞定,可以把一些复杂的
SQL基于一些维度进行拆分,拆分出来一些中间表,再基于这些中间表统计最终的结果。

这样这个中间表里的数据,我们后期针对一些类似的业务需求还是可以使用的。

在这里,我们列出如下6个需求:

需求一:每日新增用户相关指标
需求二:每日活跃用户相关指标
需求三:用户7日流失push提醒
需求四:每日启动App次数相关指标
需求五:操作系统活跃用户相关指标
需求六:App崩溃相关指标

在计算这些需求的时候,为了保证大家在练习的时候的计算结果和我这边的结果保持一致,所以针对后面的测试数据就不再随机生成了,而是生成固定的数据,一共1个月的数据,从2026-02-01到2026-02-28的数据。

二、生成数据

执行代码,重新生成数据。
注意修改校验码和你hadoop的主机名地址。

代码如下:

package com.imooc.useraction;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.imooc.
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值