电商数仓3.0 DWS层和DWT层数据处理之每日会员行为

最新推荐文章于 2024-01-23 13:40:45 发布

SmallScorpion

最新推荐文章于 2024-01-23 13:40:45 发布

阅读量298

点赞数

分类专栏： WareHouse3.0 文章标签：数据库 hive 小程序 oracle python

本文链接：https://blog.csdn.net/qq_40180229/article/details/109579718

版权

本文介绍了电商数仓中针对每日会员行为的处理过程，包括在DWS层创建每日会员行为表并导入数据，以及在DWT层构建会员主题宽表的操作步骤。

摘要由CSDN通过智能技术生成

创建DWS每日会员行为表

drop table if exists dws_user_action_daycount;
create external table dws_user_action_daycount
(   
    user_id string comment '用户 id',
    login_count bigint comment '登录次数',
    cart_count bigint comment '加入购物车次数',
    order_count bigint comment '下单次数',
    order_amount    decimal(16,2)  comment '下单金额',
    payment_count   bigint      comment '支付次数',
    payment_amount  decimal(16,2) comment '支付金额',
    order_detail_stats array<struct<sku_id:string,sku_num:bigint,order_count:bigint,order_amount:decimal(20,2)>> comment '下单明细统计'
) COMMENT '每日会员行为'
PARTITIONED BY (`dt` string)
stored as parquet
location '/warehouse/gmall/dws/dws_user_action_daycount/'
tblproperties ("parquet.compression"="lzo");

在这里插入图片描述

导入数据

with
tmp_login as
(
    select
        user_id,
        count(*) login_count
    from dwd_start_log
    where dt='2020-06-14'
    and user_id is not null
    group by user_id
),
tmp_cart as
(
    select
        user_id,
        count(*) cart_count
    from dwd_action_log
    where dt='2020-06-14'
    and user_id is not null
    and action_id='cart_add'
    group by user_id
),tmp_order as
(
    select
        user_id,
        count(*) order_count,