数仓4.0

最新推荐文章于 2023-07-20 10:58:33 发布
最新推荐文章于 2023-07-20 10:58:33 发布
阅读量191 收藏
点赞数
文章标签： servlet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63816398/article/details/126455333
版权

用户维度表（拉链表）

1）什么是拉链表

      拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录并把当前日期放入生效开始日期。

     如果当前信息至今有效，在生命周期中填入一个极大值例如（9999-99-99）。

2）为什么要做拉链表

拉链表适合于：数据会发生变化但是变化频率并不高的维度（即：缓慢变化）

比如：用户信息会发生变化，但是每天变化的比例不高。如果数据量有一定规模，按照每日全量的方式保存效率很低。比如：1亿用户*365天，每天一份用户信息。（做每日全量效率低） 

3）如何使用拉链表

通过，生效开始日期<=某个日期且生效日期>=某个日期 ，能得到某个时间点的数据全量切片。

 4）拉链表形成过程

 

我的理解应该是将这些用户发生了微小变化通过每日的表格进行比较，最后再合并起来

DIM层首日数据装载脚本

1）在/home/atguigu/bin目录下创建脚本ods_to_dim_db_init.sh，并填写一下内容

#!/bin/bash

APP=gmall

if [ -n "$2" ] ;then
   do_date=$2
else 
   echo "请传入日期参数"
   exit
fi 

dim_user_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_user_info partition(dt='9999-99-99')
select
    id,
    login_name,
    nick_name,
    md5(name),
    md5(phone_num),
    md5(email),
    user_level,
    birthday,
    gender,
    create_time,
    operate_time,
    '$do_date',
    '9999-99-99'
from ${APP}.ods_user_info
where dt='$do_date';
"

dim_sku_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
with
sku as
(
    select
        id,
        price,
        sku_name,
        sku_desc,
        weight,
        is_sale,
        spu_id,
        category3_id,
        tm_id,
        create_time
    from ${APP}.ods_sku_info
    where dt='$do_date'
),
spu as
(
    select
        id,
        spu_name
    from ${APP}.ods_spu_info
    where dt='$do_date'
),
c3 as
(
    select
        id,
        name,
        category2_id
    from ${APP}.ods_base_category3
    where dt='$do_date'
),
c2 as
(
    select
        id,
        name,
        category1_id
    from ${APP}.ods_base_category2
    where dt='$do_date'
),
c1 as
(
    select
        id,
        name
    from ${APP}.ods_base_category1
    where dt='$do_date'
),
tm as
(
    select
        id,
        tm_name
    from ${APP}.ods_base_trademark
    where dt='$do_date'
),
attr as
(
    select
        sku_id,
        collect_set(named_struct('attr_id',attr_id,'value_id',value_id,'attr_name',attr_name,'value_name',value_name)) attrs
    from ${APP}.ods_sku_attr_value
    where dt='$do_date'
    group by sku_id
),
sale_attr as
(
    select
        sku_id,
        collect_set(named_struct('sale_attr_id',sale_attr_id,'sale_attr_value_id',sale_attr_value_id,'sale_attr_name',sale_attr_name,'sale_attr_value_name',sale_attr_value_name)) sale_attrs
    from ${APP}.ods_sku_sale_attr_value
    where dt='$do_date'
    group by sku_id
)

insert overwrite table ${APP}.dim_sku_info partition(dt='$do_date')
select
    sku.id,
    sku.price,
    sku.sku_name,
    sku.sku_desc,
    sku.weight,
    sku.is_sale,
    sku.spu_id,
    spu.spu_name,
    sku.category3_id,
    c3.name,
    c3.category2_id,
    c2.name,
    c2.category1_id,
    c1.name,
    sku.tm_id,
    tm.tm_name,
    attr.attrs,
    sale_attr.sale_attrs,
    sku.create_time
from sku
left join spu on sku.spu_id=spu.id
left join c3 on sku.category3_id=c3.id
left join c2 on c3.category2_id=c2.id
left join c1 on c2.category1_id=c1.id
left join tm on sku.tm_id=tm.id
left join attr on sku.id=attr.sku_id
left join sale_attr on sku.id=sale_attr.sku_id;
"

dim_base_province="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_base_province
select
    bp.id,
    bp.name,
    bp.area_code,
    bp.iso_code,
    bp.iso_3166_2,
    bp.region_id,
    br.region_name
from ${APP}.ods_base_province bp
join ${APP}.ods_base_region br on bp.region_id = br.id;
"

dim_coupon_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_coupon_info partition(dt='$do_date')
select
    id,
    coupon_name,
    coupon_type,
    condition_amount,
    condition_num,
    activity_id,
    benefit_amount,
    benefit_discount,
    create_time,
    range_type,
    limit_num,
    taken_count,
    start_time,
    end_time,
    operate_time,
    expire_time
from ${APP}.ods_coupon_info
where dt='$do_date';
"

dim_activity_rule_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_activity_rule_info partition(dt='$do_date')
select
    ar.id,
    ar.activity_id,
    ai.activity_name,
    ar.activity_type,
    ai.start_time,
    ai.end_time,
    ai.create_time,
    ar.condition_amount,
    ar.condition_num,
    ar.benefit_amount,
    ar.benefit_discount,
    ar.benefit_level
from
(
    select
        id,
        activity_id,
        activity_type,
        condition_amount,
        condition_num,
        benefit_amount,
        benefit_discount,
        benefit_level
    from ${APP}.ods_activity_rule
    where dt='$do_date'
)ar
left join
(
    select
        id,
        activity_name,
        start_time,
        end_time,
        create_time
    from ${APP}.ods_activity_info
    where dt='$do_date'
)ai
on ar.activity_id=ai.id;
"

case $1 in
"dim_user_info"){
    hive -e "$dim_user_info"
};;
"dim_sku_info"){
    hive -e "$dim_sku_info"
};;
"dim_base_province"){
    hive -e "$dim_base_province"
};;
"dim_coupon_info"){
    hive -e "$dim_coupon_info"
};;
"dim_activity_rule_info"){
    hive -e "$dim_activity_rule_info"
};;
"all"){
    hive -e "$dim_user_info$dim_sku_info$dim_coupon_info$dim_activity_rule_info$dim_base_province"
};;
esac

2）增加执行权限并执行

[atguigu@hadoop102 bin]$ chmod +x ods_to_dim_db_init.sh
[atguigu@hadoop102 bin]$ ods_to_dim_db_init.sh all 2020-06-14

DIM层每日数据装载脚本

1）在/home/atguigu/bin目录下创建脚本ods_to_dim_db.sh

#!/bin/bash

APP=gmall

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$2" ] ;then
    do_date=$2
else 
    do_date=`date -d "-1 day" +%F`
fi

dim_user_info="
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
with
tmp as
(
    select
        old.id old_id,
        old.login_name old_login_name,
        old.nick_name old_nick_name,
        old.name old_name,
        old.phone_num old_phone_num,
        old.email old_email,
        old.user_level old_user_level,
        old.birthday old_birthday,
        old.gender old_gender,
        old.create_time old_create_time,
        old.operate_time old_operate_time,
        old.start_date old_start_date,
        old.end_date old_end_date,
        new.id new_id,
        new.login_name new_login_name,
        new.nick_name new_nick_name,
        new.name new_name,
        new.phone_num new_phone_num,
        new.email new_email,
        new.user_level new_user_level,
        new.birthday new_birthday,
        new.gender new_gender,
        new.create_time new_create_time,
        new.operate_time new_operate_time,
        new.start_date new_start_date,
        new.end_date new_end_date
    from
    (
        select
            id,
            login_name,
            nick_name,
            name,
            phone_num,
            email,
            user_level,
            birthday,
            gender,
            create_time,
            operate_time,
            start_date,
            end_date
        from ${APP}.dim_user_info
        where dt='9999-99-99'
        and start_date<'$do_date'
    )old
    full outer join
    (
        select
            id,
            login_name,
            nick_name,
            md5(name) name,
            md5(phone_num) phone_num,
            md5(email) email,
            user_level,
            birthday,
            gender,
            create_time,
            operate_time,
            '$do_date' start_date,
            '9999-99-99' end_date
        from ${APP}.ods_user_info
        where dt='$do_date'
    )new
    on old.id=new.id
)
insert overwrite table ${APP}.dim_user_info partition(dt)
select
    nvl(new_id,old_id),
    nvl(new_login_name,old_login_name),
    nvl(new_nick_name,old_nick_name),
    nvl(new_name,old_name),
    nvl(new_phone_num,old_phone_num),
    nvl(new_email,old_email),
    nvl(new_user_level,old_user_level),
    nvl(new_birthday,old_birthday),
    nvl(new_gender,old_gender),
    nvl(new_create_time,old_create_time),
    nvl(new_operate_time,old_operate_time),
    nvl(new_start_date,old_start_date),
    nvl(new_end_date,old_end_date),
    nvl(new_end_date,old_end_date) dt
from tmp
union all
select
    old_id,
    old_login_name,
    old_nick_name,
    old_name,
    old_phone_num,
    old_email,
    old_user_level,
    old_birthday,
    old_gender,
    old_create_time,
    old_operate_time,
    old_start_date,
    cast(date_add('$do_date',-1) as string),
    cast(date_add('$do_date',-1) as string) dt
from tmp
where new_id is not null and old_id is not null;
"

dim_sku_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
with
sku as
(
    select
        id,
        price,
        sku_name,
        sku_desc,
        weight,
        is_sale,
        spu_id,
        category3_id,
        tm_id,
        create_time
    from ${APP}.ods_sku_info
    where dt='$do_date'
),
spu as
(
    select
        id,
        spu_name
    from ${APP}.ods_spu_info
    where dt='$do_date'
),
c3 as
(
    select
        id,
        name,
        category2_id
    from ${APP}.ods_base_category3
    where dt='$do_date'
),
c2 as
(
    select
        id,
        name,
        category1_id
    from ${APP}.ods_base_category2
    where dt='$do_date'
),
c1 as
(
    select
        id,
        name
    from ${APP}.ods_base_category1
    where dt='$do_date'
),
tm as
(
    select
        id,
        tm_name
    from ${APP}.ods_base_trademark
    where dt='$do_date'
),
attr as
(
    select
        sku_id,
        collect_set(named_struct('attr_id',attr_id,'value_id',value_id,'attr_name',attr_name,'value_name',value_name)) attrs
    from ${APP}.ods_sku_attr_value
    where dt='$do_date'
    group by sku_id
),
sale_attr as
(
    select
        sku_id,
        collect_set(named_struct('sale_attr_id',sale_attr_id,'sale_attr_value_id',sale_attr_value_id,'sale_attr_name',sale_attr_name,'sale_attr_value_name',sale_attr_value_name)) sale_attrs
    from ${APP}.ods_sku_sale_attr_value
    where dt='$do_date'
    group by sku_id
)

insert overwrite table ${APP}.dim_sku_info partition(dt='$do_date')
select
    sku.id,
    sku.price,
    sku.sku_name,
    sku.sku_desc,
    sku.weight,
    sku.is_sale,
    sku.spu_id,
    spu.spu_name,
    sku.category3_id,
    c3.name,
    c3.category2_id,
    c2.name,
    c2.category1_id,
    c1.name,
    sku.tm_id,
    tm.tm_name,
    attr.attrs,
    sale_attr.sale_attrs,
    sku.create_time
from sku
left join spu on sku.spu_id=spu.id
left join c3 on sku.category3_id=c3.id
left join c2 on c3.category2_id=c2.id
left join c1 on c2.category1_id=c1.id
left join tm on sku.tm_id=tm.id
left join attr on sku.id=attr.sku_id
left join sale_attr on sku.id=sale_attr.sku_id;
"

dim_base_province="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_base_province
select
    bp.id,
    bp.name,
    bp.area_code,
    bp.iso_code,
    bp.iso_3166_2,
    bp.region_id,
    bp.name
from ${APP}.ods_base_province bp
join ${APP}.ods_base_region br on bp.region_id = br.id;
"

dim_coupon_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_coupon_info partition(dt='$do_date')
select
    id,
    coupon_name,
    coupon_type,
    condition_amount,
    condition_num,
    activity_id,
    benefit_amount,
    benefit_discount,
    create_time,
    range_type,
    limit_num,
    taken_count,
    start_time,
    end_time,
    operate_time,
    expire_time
from ${APP}.ods_coupon_info
where dt='$do_date';
"

dim_activity_rule_info="
set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
insert overwrite table ${APP}.dim_activity_rule_info partition(dt='$do_date')
select
    ar.id,
    ar.activity_id,
    ai.activity_name,
    ar.activity_type,
    ai.start_time,
    ai.end_time,
    ai.create_time,
    ar.condition_amount,
    ar.condition_num,
    ar.benefit_amount,
    ar.benefit_discount,
    ar.benefit_level
from
(
    select
        id,
        activity_id,
        activity_type,
        condition_amount,
        condition_num,
        benefit_amount,
        benefit_discount,
        benefit_level
    from ${APP}.ods_activity_rule
    where dt='$do_date'
)ar
left join
(
    select
        id,
        activity_name,
        start_time,
        end_time,
        create_time
    from ${APP}.ods_activity_info
    where dt='$do_date'
)ai
on ar.activity_id=ai.id;
"

case $1 in
"dim_user_info"){
    hive -e "$dim_user_info"
};;
"dim_sku_info"){
    hive -e "$dim_sku_info"
};;
"dim_base_province"){
    hive -e "$dim_base_province"
};;
"dim_coupon_info"){
    hive -e "$dim_coupon_info"
};;
"dim_activity_rule_info"){
    hive -e "$dim_activity_rule_info"
};;
"all"){
    hive -e "$dim_user_info$dim_sku_info$dim_coupon_info$dim_activity_rule_info"
};;
esac

2）增加执行权限并执行脚本

[atguigu@hadoop102 bin]$ chmod +x ods_to_dim_db.sh

[atguigu@hadoop102 bin]$ ods_to_dim_db.sh all 2020-06-14

AC.WJH
关注
3.1 离线数仓—DIM层实现
yunweijie_cn的博客
02-23 359
DIM层设计开发前言一、拉链表回顾二、用户维度表1.建表语句2.分区规划3.数据装载流程分析4.数据流向分析5.首日数据装载分析与实现5.1 首日数据装载分析5.2 首日数据装载实现6.每日数据装载分析与实现6.1 每日数据装载分析6.2 每日数据装载实现方式一6.3 每日数据装载实现方式二7.数据装载脚本7.1 首日装载脚本7.2 每日装载脚本 前言 DIM层维度表总共有6张，前面完成了5张表，全都是全量快照维度表，最后一张用户维度表是拉链表，需要好好分析一下。 一、拉链表回顾 二、用户维度表 1
数仓开发之DIM层
JiaXingNashishua的博客
11-09 4212
（1）定义类。
8. 数仓开发之 DIM 层
记录点点滴滴
03-17 5415
数仓开发之 DIM 层商品维度表 DIM 层设计要点： DIM 层的设计依据 : 维度建模理论，该层存储维度模型的维度表 DIM 层的数据存储格式 : orc 列式存储 + snappy 压缩 DIM 层表名的命名规范为 dim_表名_全量表或拉链表标识（ full / zip ） 商品维度表 ...
数仓搭建-DIM层
zhangzhagn_的博客
07-25 303
数仓搭建-DIM层
数仓学习---9、数仓开发之DIM层
星光不问赶路人，岁月不负有心人
07-20 357
数仓开发之DIM层
数仓4.0笔记2022-02-07
02-07
数仓4.0是当前大数据领域的一个热点话题，它代表了数据仓库技术的最新发展，旨在提供更高效、更灵活且智能化的数据管理解决方案。在这个笔记中，我们将深入探讨数仓4.0的核心概念、特点以及它如何改变数据分析的格局...
数仓4.0资料小总结2022-02-07
02-07
数仓4.0资料小总结2022-02-07
s硅谷大数据项目之Flink实时数仓完整版
04-10
001-实时数仓(课程介绍 CDC介绍）.mp4 003-实时数仓(CDC编码 DataStream方式 断点续传）.mp4 004-实时数仓(CDC编码 FlinkSQL方式）.avi 008-实时数仓(采集模块 课程介绍）.avi 009-实时数仓(采集模块 分层介绍...
电商数仓项目(七) kafka 安装、配置和简单操作 源码
03-09
在本电商数仓项目中，我们将深入探讨Apache Kafka的安装、配置以及基本操作。Kafka是一种分布式流处理平台，广泛应用于大数据实时处理和消息传递。它具有高吞吐量、低延迟、容错性强等特性，是构建现代数据架构的...
日志，用于数仓4.o业务平台的数据采集
02-03
数仓4.0是数据仓库技术的最新发展阶段，强调了大数据处理、实时分析和自助式BI（商业智能）等特性。 日志数据在数仓4.0中扮演着至关重要的角色。日志通常是业务系统运行过程中产生的详细记录，包含了用户行为、系统...
离线数仓（11）：DIM层实现
yang_shibiao的博客
09-07 1342
对ods层相关维度进行聚合，减少表的数量（例如3级分类聚合成一张分类维度表），后续使用维度减少雪花模型的使用；一般维度表每天创建一个分区（商品维度表等），特殊维度表导入数据（时间维度表），需要记录历史变化的创建拉链表（用户维度表）；因为拉链表是记录数据的新增和变化，所以使用ods层的记录表（ods_fmys_users_record_dt）；如下代码所示，对每个user_id开窗，每个更改时间一条数据，当在这个时间点，用户修改了信息，那也就是说，从这个时间点到下个时间点，用户都使用的是这条记录的信息。
9.数据仓库搭建之DIM层搭建
Mmj666的博客
07-14 2102
9.数据仓库搭建之DIM层搭建
数据仓库
qq_38502578的博客
11-15 436
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用M...
数仓各类表统计归纳
Wumo的博客
12-16 326
一.事务型事实表 事务性事实表主要特点是只会新增不会变化,一般有分区 二.周期型快照事实表 三.累积型快照事实表 该表会包含一个周期,如订单,有未支付,已支付等,有一个周期性
【项目】数仓项目（九）
Together
05-06 2073
（图片来源于网络，侵删） 一、数仓搭建 - DWS 层 1.1 业务术语 1）用户 用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android 系统根据 IMEI 号，IOS 系统根据 OpenUDID 来标识一个独立用户，每部手机一个用户 2）新增用户 首次联网使用应用的用户。如果一个用户首次打开某 APP，那这个用户定义为新增用 户；卸载再安装的设备，不会被算作一次...
Shell中单引号和双引号区别
程序员学习圈
09-10 154
1.在/home/atguigu/bin创建一个test.sh文件 [mkluo@hadoop102 bin]$ vim test.sh 在文件中添加如下内容 #!/bin/bash do_date=$1 echo '$do_date' echo "$do_date" echo "'$do_date'" echo '"$do_date"' echo `date` 2....
shell中单引号和双引号的却别
sinat_36572927的博客
10-11 142
脚本 #!/bin/bash do_date=$1 echo '$do_date' echo "$do_date" echo "'$do_date'" echo '"$do_date"' echo `date` 结果: $do_date 2020-06-15 '2020-06-15' "$do_date" 2020年 10月 11日 星期日 14:08:11 CST 总结： （1）单引号不取变量值 （2）双引号取变量值 （3）反引号`，执行引号中命令 （4）双引号内部嵌套单引号，取出.
shell脚本传入字符串日期格式，对其加减运算
Mr.Zheng的博客
11-06 3113
#!/bin/bash #1. 确定要导入数据的日期 if [ -n "$1" ] then do_date=$1 #传入任意日期都可以加减！ raldate=$(date -d "$1 -1days" "+%Y-%m-%d" ) #echo "$do_date" #echo "$raldate ->rd" else do_date=$(date -d 'yesterday' '+%Y%m%d')
数据仓库之如何分层
Jiangzhiqi4551的博客
01-07 1364
1.前言 数据仓库的建设是一个持续的工程。在这个过程中我们需要形成自己的规范，以方便管理和维护。在数据仓库的建设过程中，不仅会面临着公司业务迅速发展，业务系统迭代变更，需要对业务系统数据进行相应的整合，形成公司完整的统一数据视图；而且基于数据仓库的应用也是多样化的，比如支撑自己企业的数据可视化平台、即席查询、对策略提供数据支持等。参考目前已有的分层模型，结合自身实际数据情况，确定对数据仓库进行层次...
尚硅谷数仓4.0 组件
最新发布
09-01
Shanggu Valley Data Warehouse 4.0是一个数据仓库解决方案，在这个版本中包含了多个组件。以下是一些主要的组件： 1. 数据抽取（Data Extraction）：用于从各种数据源（如关系型数据库、文件、API等）中提取数据并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值