【电商数仓】数仓搭建之DIM维度层（用户维度表[拉链表]，首日、每日数据装载脚本）

最新推荐文章于 2024-05-04 21:51:05 发布
最新推荐文章于 2024-05-04 21:51:05 发布
阅读量2.1k 收藏 10
点赞数 3
分类专栏： 电商数仓 文章标签： 大数据 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43923463/article/details/127078891
版权

文章目录

一 用户维度表（拉链表）

全量表，特殊表这些表的特点就是每天导入的数据互相不影响，现在导入的ods表对应的ods层表格为user_info表，导入的方式为“新增和变化”，6-14导入的数据为全量导入，因为是数仓的第一天，但6-15就不是全量导入了，6-15导入的数据是6-14修改的数据或者是新增的数据，在导入维度信息表的时候，ods层中的全量表完全放入到dim层，是一个完整的维度信息，所有的用户都能查得到。但到了6-15，这是一个增量及变化的表，就要结合6-14已知的数据和6-15新增的数据得到6-15新的数据，所以这个表的插入和以前就不一样了。

为了记录这个变化的过程，新的表格数据应该包括过期的数据和最新的数据两个部分，现在用的数据就是最新的数据，过期的数据是为了将数据变化的部分存档，将具有这种功能的表格称为拉链表。

1 什么是拉链表

拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。

如果当前信息至今有效，在生效结束日期中填入一个极大值（如9999-99-99 ）。表现的就是数据的变化过程。

用户ID姓名手机号码开始日期结束日期
1张三136****90902019-01-012019-01-01
1张三137****89892019-01-022019-01-09
1张三147****12342019-01-109999-99-99

2 为什么要做拉链表

拉链表的数据冗余度非常小，将重复的信息尽量压缩成一条，如第二条数据，1-02 – 1-09在全量表中会将每一天的数据都存储下来，而在拉链表中就只会保存为一条数据。对于维度比较大，而数据变化又非常缓慢的数据，就非常适合用拉链表进行存储。比如：用户信息会发生变化，但是每天变化的比例不高。如果数据量有一定规模，按照每日全量的方式保存效率很低。 比如：1亿用户*365天，每天一份用户信息。(做每日全量效率低)

全量表：

用户ID姓名手机号码dt
1张三136****90902019-01-01
1张三136****90902019-01-02
1张三136****90902019-01-03
············
1张三136****90902019-05-11
1张三155****12122019-05-12

拉链表：

用户ID姓名手机号码开始日期结束日期
1张三136****90902019-01-012019-05-12
1张三155****12122019-05-119999-99-99

那么反过来，数据量小的数据没有必要使用拉链表，数据量变化的历史全部都使用全量表记录下来了。对于数据量很大，变化很剧烈的数据，每一天都相当于一个新的表，也使用全量表。

3 如何使用拉链表

想要获取1-07 张三的电话号码，这时就可以通过切片去查询

通过，生效开始日期<=某个日期 且 生效结束日期>=某个日期 ，能够得到某个时间点的数据全量切片。

例如获取2019-01-01的历史切片：

select * from user_info where start_date<=’2019-01-01’ and end_date>=’2019-01-01’

例如获取2019-01-02的历史切片：

select * from order_info where start_date<=’2019-01-02’ and end_date>=’2019-01-02’

4 拉链表形成过程

昨日的全量表 + 今日的修改表 = 拉链表

（1）假设， 2019年 1月1日的用户全量表是最初始的用户表，如下

用户ID姓名
1张三
2李四
3王五

（2）初始的拉链表就等于最开始的2019年 1月1日的用户全量表

用户ID姓名开始时间结束时间
1张三2019-01-019999-99-99
2李四2019-01-019999-99-99
3王五2019-01-019999-99-99

（3）第二天 1月2日 用户全量表（用户2发生状态修改；用户4、5增加）

用户ID姓名
1张三
2李小四
3王五
4赵六
5田七

（4）根据用户表的创建时间和操作时间，得到用户变化表。

用户ID姓名
2李小四
4赵六
5田七

（5）用户变化表与之前的拉链表合并得到

用户ID姓名开始时间结束时间
1张三2019-01-019999-99-99
2李四2019-01-012019-01-01
2李小四2019-01-029999-99-99
3王五2019-01-019999-99-99
4赵六2019-01-029999-99-99
5田七2019-01-029999-99-99

那么得到今日全量表以后，今日的全量是所有结束时间等于9999-99-99的数据，再加上明日的变化数据，就等于明日的拉链表。其中封口的数据不会变化，因为其已经是历史数据了，如2。

5 制作拉链表

用户拉链表分区：

在这里插入图片描述

6-14当天的数据是一份全量数据，第一天数据的导入十分简单，直接将ods层的数据直接拿过来就可以了。第二天导入的ods数据就变成了一个增量数据，是对于14号新增且修改数据。数据拿过来以后，应该将6-15当天的数据和6-14的数据做一个融合，6-14的数据肯定是14号当天使用的数据，新增的数据肯定是新数据，被修改的数据叫做过期数据，过期数据的end data是6-14号，就产生了第一批过期的数据。

截止到6-15最全的数据是之前6-14没有被修改的数据以及6-15修改及新增的数据，过期的数据是6-14被修改的数据。

如何设计：做一张分区表，按照dt进行分区，其中有一个分区叫做9999-99-99，表示当前最新的数据。6-14需要往这个分区加入所有数据。第二天就需要把昨天最新的数据查出来 + 今天新增的数据 join在一起。将昨天没修改的 + 今天最新的数据拼成一份，覆盖到9999-99-99分区中，同时将过期的数据放到2020-06-14分区中，表示当天过期的数据。

之后如果想查询用户的维度信息，只需要查找9999-99-99分区即可。

（1）建表语句

添加了一个start_data和end_data，其余部分就是ods_user_info这张表。

DROP TABLE IF EXISTS dim_user_info;
CREATE EXTERNAL TABLE dim_user_info(
    `id` STRING COMMENT '用户id',
    `login_name` STRING COMMENT '用户名称',
    `nick_name` STRING COMMENT '用户昵称',
    `name` STRING COMMENT '用户姓名',
    `phone_num` STRING COMMENT '手机号码',
    `email` STRING COMMENT '邮箱',
    `user_level` STRING COMMENT '用户等级',
    `birthday` STRING COMMENT '生日',
    `gender` STRING COMMENT '性别',
    `create_time` STRING COMMENT '创建时间',
    `operate_time` STRING COMMENT '操作时间',
    `start_date` STRING COMMENT '开始日期',
    `end_date` STRING COMMENT '结束日期'
) COMMENT '用户表'
PARTITIONED BY (`dt` STRING)
STORED AS ORC
LOCATION '/warehouse/gmall/dim/dim_user_info/'
TBLPROPERTIES ("orc.compress"="snappy");

（2）数据装载

首日装载

6-15 产生6-14过期的数据，6-16产生6-15过期的数据，循环往复，所以对于这张表，首日导入和每日导入是有区别的。

拉链表首日装载，需要进行初始化操作，具体工作为将截止到初始化当日的全部历史用户导入一次性导入到拉链表中。目前的ods_order_info表的第一个分区，即2020-06-14分区中就是全部的历史用户，故将该分区数据进行一定处理后导入拉链表的9999-99-99分区即可。

insert overwrite table dim_user_info partition(dt='9999-99-99')
select
    id,
    login_name,
    nick_name,
    md5(name),
    md5(phone_num),
    md5(email),
    user_level,
    birthday,
    gender,
    create_time,
    operate_time,
    '2020-06-14',
    '9999-99-99'
from ods_user_info
where dt='2020-06-14';

md5() 执行加密操作

每日装载

实现思路

在这里插入图片描述

每日更新需要将前一日（6-14）的全量数据查询出来 join 今天的数据（6-15的ods数据）

join的选择：需要将昨日的全量 + 今日的增量数据

  • 内连接：能够用id连上的数据，说明被修改了，也就是修改的数据才能够被连上
  • 右外连接：昨日没被修改的数据查询不到
  • 全外连接：所有的数据都能被查询出来

动态分区：现有三列 id，name，class，未分区，称为老表。

​ 有一张新表，有三列，id，name，class，其中class是分区列，称为新表。

​ 动态分区就是自动将分区插入进去

insert into newbiao id,name,partition(class) select id,name,class from oldbiao

第一列id，第二列name是数据，第三列partition(class)会和后面三列进行匹配，这时会自动按照oldbiao第三列的数值做分区，这就是动态分区。

每日装载sql语句如下：

with
tmp as
(
    select
        old.id old_id,
        old.login_name old_login_name,
        old.nick_name old_nick_name,
        old.name old_name,
        old.phone_num old_phone_num,
        old.email old_email,
        old.user_level old_user_level,
        old.birthday old_birthday,
        old.gender old_gender,
        old.create_time old_create_time,
        old.operate_time old_operate_time,
        old.start_date old_start_date,
        old.end_date old_end_date,
        new.id new_id,
        new.login_name new_login_name,
        new.nick_name new_nick_name,
        new.name new_name,
        new.phone_num new_phone_num,
        new.email new_email,
        new.user_level new_user_level,
        new.birthday new_birthday,
        new.gender new_gender,
        new.create_time new_create_time,
        new.operate_time new_operate_time,
        new.start_date new_start_date,
        new.end_date new_end_date
    from
    (
        select
            id,
            login_name,
            nick_name,
            name,
            phone_num,
            email,
            user_level,
            birthday,
            gender,
            create_time,
            operate_time,
            start_date,
            end_date
        from dim_user_info
        where dt='9999-99-99'
    )old
    full outer join
    (
        select
            id,
            login_name,
            nick_name,
            md5(nick_name) nick_name,
            md5(name) name,
            md5(phone_num) phone_num,
            user_level,
            birthday,
            gender,
            create_time,
            operate_time,
            '2020-06-15' start_date,
            '9999-99-99' end_date
        from ods_user_info
        where dt='2020-06-15'
    )new
    on old.id=new.id
)
insert overwrite table dim_user_info partition(dt)
select
    nvl(new_id,old_id),
    nvl(new_login_name,old_login_name),
    nvl(new_nick_name,old_nick_name),
    nvl(new_name,old_name),
    nvl(new_phone_num,old_phone_num),
    nvl(new_email,old_email),
    nvl(new_user_level,old_user_level),
    nvl(new_birthday,old_birthday),
    nvl(new_gender,old_gender),
    nvl(new_create_time,old_create_time),
    nvl(new_operate_time,old_operate_time),
    nvl(new_start_date,old_start_date),
    nvl(new_end_date,old_end_date),
    nvl(new_end_date,old_end_date) dt
from tmp
union all
select
    old_id,
    old_login_name,
    old_nick_name,
    old_name,
    old_phone_num,
    old_email,
    old_user_level,
    old_birthday,
    old_gender,
    old_create_time,
    old_operate_time,
    old_start_date,
    cast(date_add('2020-06-15',-1) as string),
    cast(date_add('2020-06-15',-1) as string) dt
from tmp
where new_id is not null and old_id is not null;

二 DIM层首日数据装载脚本

1 新建文件

# 在/home/hzy/bin目录下创建脚本ods_to_dim_db_init.sh
vim ods_to_dim_db_init.sh

2 脚本内容

#!/bin/bash

APP=gmall

if [ -n "$2" ] ;then
   do_date=$2
else 
   echo "请传入日期参数"
   exit
fi 

dim_user_info="
insert overwrite table ${APP}.dim_user_info partition(dt='9999-99-99')
select
    id,
    login_name,
    nick_name,
    md5(name),
    md5(phone_num),
    md5(email),
    user_level,
    birthday,
    gender,
    create_time,
    operate_time,
    '$do_date',
    '9999-99-99'
from ${APP}.ods_user_info
where dt='$do_date';
"

dim_sku_info="
with
sku as
(
    select
        id,
        price,
        sku_name,
        sku_desc,
        weight,
        is_sale,
        spu_id,
        category3_id,
        tm_id,
        create_time
    from ${APP}.ods_sku_info
    where dt='$do_date'
),
spu as
(
    select
        id,
        spu_name
    from ${APP}.ods_spu_info
    where dt='$do_date'
),
c3 as
(
    select
        id,
        name,
        category2_id
    from ${APP}.ods_base_category3
    where dt='$do_date'
),
c2 as
(
    select
        id,
        name,
        category1_id
    from ${APP}.ods_base_category2
    where dt='$do_date'
),
c1 as
(
    select
        id,
        name
    from ${APP}.ods_base_category1
    where dt='$do_date'
),
tm as
(
    select
        id,
        tm_name
    from ${APP}.ods_base_trademark
    where dt='$do_date'
),
attr as
(
    select
        sku_id,
        collect_set(named_struct('attr_id',attr_id,'value_id',value_id,'attr_name',attr_name,'value_name',value_name)) attrs
    from ${APP}.ods_sku_attr_value
    where dt='$do_date'
    group by sku_id
),
sale_attr as
(
    select
        sku_id,
        collect_set(named_struct('sale_attr_id',sale_attr_id,'sale_attr_value_id',sale_attr_value_id,'sale_attr_name',sale_attr_name,'sale_attr_value_name',sale_attr_value_name)) sale_attrs
    from ${APP}.ods_sku_sale_attr_value
    where dt='$do_date'
    group by sku_id
)

insert overwrite table ${APP}.dim_sku_info partition(dt='$do_date')
select
    sku.id,
    sku.price,
    sku.sku_name,
    sku.sku_desc,
    sku.weight,
    sku.is_sale,
    sku.spu_id,
    spu.spu_name,
    sku.category3_id,
    c3.name,
    c3.category2_id,
    c2.name,
    c2.category1_id,
    c1.name,
    sku.tm_id,
    tm.tm_name,
    attr.attrs,
    sale_attr.sale_attrs,
    sku.create_time
from sku
left join spu on sku.spu_id=spu.id
left join c3 on sku.category3_id=c3.id
left join c2 on c3.category2_id=c2.id
left join c1 on c2.category1_id=c1.id
left join tm on sku.tm_id=tm.id
left join attr on sku.id=attr.sku_id
left join sale_attr on sku.id=sale_attr.sku_id;
"

dim_base_province="
insert overwrite table ${APP}.dim_base_province
select
    bp.id,
    bp.name,
    bp.area_code,
    bp.iso_code,
    bp.iso_3166_2,
    bp.region_id,
    br.region_name
from ${APP}.ods_base_province bp
join ${APP}.ods_base_region br on bp.region_id = br.id;
"

dim_coupon_info="
insert overwrite table ${APP}.dim_coupon_info partition(dt='$do_date')
select
    id,
    coupon_name,
    coupon_type,
    condition_amount,
    condition_num,
    activity_id,
    benefit_amount,
    benefit_discount,
    create_time,
    range_type,
    limit_num,
    taken_count,
    start_time,
    end_time,
    operate_time,
    expire_time
from ${APP}.ods_coupon_info
where dt='$do_date';
"

dim_activity_rule_info="
insert overwrite table ${APP}.dim_activity_rule_info partition(dt='$do_date')
select
    ar.id,
    ar.activity_id,
    ai.activity_name,
    ar.activity_type,
    ai.start_time,
    ai.end_time,
    ai.create_time,
    ar.condition_amount,
    ar.condition_num,
    ar.benefit_amount,
    ar.benefit_discount,
    ar.benefit_level
from
(
    select
        id,
        activity_id,
        activity_type,
        condition_amount,
        condition_num,
        benefit_amount,
        benefit_discount,
        benefit_level
    from ${APP}.ods_activity_rule
    where dt='$do_date'
)ar
left join
(
    select
        id,
        activity_name,
        start_time,
        end_time,
        create_time
    from ${APP}.ods_activity_info
    where dt='$do_date'
)ai
on ar.activity_id=ai.id;
"

case $1 in
"dim_user_info"){
    hive -e "$dim_user_info"
};;
"dim_sku_info"){
    hive -e "$dim_sku_info"
};;
"dim_base_province"){
    hive -e "$dim_base_province"
};;
"dim_coupon_info"){
    hive -e "$dim_coupon_info"
};;
"dim_activity_rule_info"){
    hive -e "$dim_activity_rule_info"
};;
"all"){
    hive -e "$dim_user_info$dim_sku_info$dim_coupon_info$dim_activity_rule_info$dim_base_province"
};;
esac

3 脚本使用

chmod +x ods_to_dim_db_init.sh

ods_to_dim_db_init.sh all 2020-06-14

注意：该脚本不包含时间维度表的装载，时间维度表需手动装载数据。

查看数据是否导入成功

三 DIM层每日数据装载脚本

1 新建文件

在/home/hzy/bin目录下创建脚本ods_to_dim_db.sh
vim ods_to_dim_db.sh

2 脚本内容

在脚本中填写如下内容

#!/bin/bash

APP=gmall

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$2" ] ;then
    do_date=$2
else 
    do_date=`date -d "-1 day" +%F`
fi

dim_user_info="
set hive.exec.dynamic.partition.mode=nonstrict;
with
tmp as
(
    select
        old.id old_id,
        old.login_name old_login_name,
        old.nick_name old_nick_name,
        old.name old_name,
        old.phone_num old_phone_num,
        old.email old_email,
        old.user_level old_user_level,
        old.birthday old_birthday,
        old.gender old_gender,
        old.create_time old_create_time,
        old.operate_time old_operate_time,
        old.start_date old_start_date,
        old.end_date old_end_date,
        new.id new_id,
        new.login_name new_login_name,
        new.nick_name new_nick_name,
        new.name new_name,
        new.phone_num new_phone_num,
        new.email new_email,
        new.user_level new_user_level,
        new.birthday new_birthday,
        new.gender new_gender,
        new.create_time new_create_time,
        new.operate_time new_operate_time,
        new.start_date new_start_date,
        new.end_date new_end_date
    from
    (
        select
            id,
            login_name,
            nick_name,
            name,
            phone_num,
            email,
            user_level,
            birthday,
            gender,
            create_time,
            operate_time,
            start_date,
            end_date
        from ${APP}.dim_user_info
        where dt='9999-99-99'
        and start_date<'$do_date'
    )old
    full outer join
    (
        select
            id,
            login_name,
            nick_name,
            md5(nick_name) nick_name,
            md5(name) name,
            md5(phone_num) phone_num,
            user_level,
            birthday,
            gender,
            create_time,
            operate_time,
            '$do_date' start_date,
            '9999-99-99' end_date
        from ${APP}.ods_user_info
        where dt='$do_date'
    )new
    on old.id=new.id
)
insert overwrite table ${APP}.dim_user_info partition(dt)
select
    nvl(new_id,old_id),
    nvl(new_login_name,old_login_name),
    nvl(new_nick_name,old_nick_name),
    nvl(new_name,old_name),
    nvl(new_phone_num,old_phone_num),
    nvl(new_email,old_email),
    nvl(new_user_level,old_user_level),
    nvl(new_birthday,old_birthday),
    nvl(new_gender,old_gender),
    nvl(new_create_time,old_create_time),
    nvl(new_operate_time,old_operate_time),
    nvl(new_start_date,old_start_date),
    nvl(new_end_date,old_end_date),
    nvl(new_end_date,old_end_date) dt
from tmp
union all
select
    old_id,
    old_login_name,
    old_nick_name,
    old_name,
    old_phone_num,
    old_email,
    old_user_level,
    old_birthday,
    old_gender,
    old_create_time,
    old_operate_time,
    old_start_date,
    cast(date_add('$do_date',-1) as string),
    cast(date_add('$do_date',-1) as string) dt
from tmp
where new_id is not null and old_id is not null;
"

dim_sku_info="
with
sku as
(
    select
        id,
        price,
        sku_name,
        sku_desc,
        weight,
        is_sale,
        spu_id,
        category3_id,
        tm_id,
        create_time
    from ${APP}.ods_sku_info
    where dt='$do_date'
),
spu as
(
    select
        id,
        spu_name
    from ${APP}.ods_spu_info
    where dt='$do_date'
),
c3 as
(
    select
        id,
        name,
        category2_id
    from ${APP}.ods_base_category3
    where dt='$do_date'
),
c2 as
(
    select
        id,
        name,
        category1_id
    from ${APP}.ods_base_category2
    where dt='$do_date'
),
c1 as
(
    select
        id,
        name
    from ${APP}.ods_base_category1
    where dt='$do_date'
),
tm as
(
    select
        id,
        tm_name
    from ${APP}.ods_base_trademark
    where dt='$do_date'
),
attr as
(
    select
        sku_id,
        collect_set(named_struct('attr_id',attr_id,'value_id',value_id,'attr_name',attr_name,'value_name',value_name)) attrs
    from ${APP}.ods_sku_attr_value
    where dt='$do_date'
    group by sku_id
),
sale_attr as
(
    select
        sku_id,
        collect_set(named_struct('sale_attr_id',sale_attr_id,'sale_attr_value_id',sale_attr_value_id,'sale_attr_name',sale_attr_name,'sale_attr_value_name',sale_attr_value_name)) sale_attrs
    from ${APP}.ods_sku_sale_attr_value
    where dt='$do_date'
    group by sku_id
)

insert overwrite table ${APP}.dim_sku_info partition(dt='$do_date')
select
    sku.id,
    sku.price,
    sku.sku_name,
    sku.sku_desc,
    sku.weight,
    sku.is_sale,
    sku.spu_id,
    spu.spu_name,
    sku.category3_id,
    c3.name,
    c3.category2_id,
    c2.name,
    c2.category1_id,
    c1.name,
    sku.tm_id,
    tm.tm_name,
    attr.attrs,
    sale_attr.sale_attrs,
    sku.create_time
from sku
left join spu on sku.spu_id=spu.id
left join c3 on sku.category3_id=c3.id
left join c2 on c3.category2_id=c2.id
left join c1 on c2.category1_id=c1.id
left join tm on sku.tm_id=tm.id
left join attr on sku.id=attr.sku_id
left join sale_attr on sku.id=sale_attr.sku_id;
"

dim_base_province="
insert overwrite table ${APP}.dim_base_province
select
    bp.id,
    bp.name,
    bp.area_code,
    bp.iso_code,
    bp.iso_3166_2,
    bp.region_id,
    bp.name
from ${APP}.ods_base_province bp
join ${APP}.ods_base_region br on bp.region_id = br.id;
"

dim_coupon_info="
insert overwrite table ${APP}.dim_coupon_info partition(dt='$do_date')
select
    id,
    coupon_name,
    coupon_type,
    condition_amount,
    condition_num,
    activity_id,
    benefit_amount,
    benefit_discount,
    create_time,
    range_type,
    limit_num,
    taken_count,
    start_time,
    end_time,
    operate_time,
    expire_time
from ${APP}.ods_coupon_info
where dt='$do_date';
"

dim_activity_rule_info="
insert overwrite table ${APP}.dim_activity_rule_info partition(dt='$do_date')
select
    ar.id,
    ar.activity_id,
    ai.activity_name,
    ar.activity_type,
    ai.start_time,
    ai.end_time,
    ai.create_time,
    ar.condition_amount,
    ar.condition_num,
    ar.benefit_amount,
    ar.benefit_discount,
    ar.benefit_level
from
(
    select
        id,
        activity_id,
        activity_type,
        condition_amount,
        condition_num,
        benefit_amount,
        benefit_discount,
        benefit_level
    from ${APP}.ods_activity_rule
    where dt='$do_date'
)ar
left join
(
    select
        id,
        activity_name,
        start_time,
        end_time,
        create_time
    from ${APP}.ods_activity_info
    where dt='$do_date'
)ai
on ar.activity_id=ai.id;
"

case $1 in
"dim_user_info"){
    hive -e "$dim_user_info"
};;
"dim_sku_info"){
    hive -e "$dim_sku_info"
};;
"dim_base_province"){
    hive -e "$dim_base_province"
};;
"dim_coupon_info"){
    hive -e "$dim_coupon_info"
};;
"dim_activity_rule_info"){
    hive -e "$dim_activity_rule_info"
};;
"first"){
    hive -e "$dim_sku_info$dim_base_province$dim_coupon_info$dim_activity_rule_info"
};;
"all"){
    hive -e "$dim_user_info$dim_sku_info$dim_coupon_info$dim_activity_rule_info"
};;
esac

3 脚本使用

chmod +x ods_to_dim_db.sh
# 执行脚本
ods_to_dim_db.sh all 2020-06-14

查看数据是否导入成功

OneTenTwo76
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Flink实时数仓】数据仓库项目实战 《三》 维表数据写入到HBase【DIM】
m0_47139992的博客
12-04 851
【Flink实时数仓】数据仓库项目实战 《三》 维表数据写入到HBase【DIM】
尚硅谷大数据项目之电商数仓电商数据仓库系统1
08-04
【尚硅谷大数据项目之电商数仓电商数据仓库系统1】主要涵盖了数据仓库的构建和理论，包括数仓分层、命名规范、范式理论、关系建模与维度建模，以及核心的维度表和事实表。 1. **数仓分层**：数据仓库的分层设计是...
数仓（七）从0到1简单搭建加载数仓DIM层以及拉链表处理
大数据星球-浪尖
01-14 1950
数仓（一）简介数仓，OLTP和OLAP数仓（二）关系建模和维度建模数仓（三）简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构数仓（四）数据仓库分层数仓(五)元数据管理系统解析数仓（六...
离线数仓（七）【DIM 层开发】
梦想是动物管理员
03-13 1237
DIM 层开发
大数据---DIM层数据处理
最新发布
anhaoye的博客
05-04 898
ZooKeeper是一个具有高可用性的高性能分布式协调服务。官网。
（35）用户维度表（拉链表）
song_quan_的博客
07-14 1424
用户表中的数据每日既有可能新增，也有可能修改，但修改频率并不高，属于缓慢变化 维度，此处采用拉链表存储用户维度数据。 1）什么是拉链表 2）为什么要做拉链表 3）拉链表形成过程 4）拉链表制作过程图 5）拉链表制作过程 步骤 0：初始化拉链表（首次独立执行） （1）建立拉链表 （2）初始化拉链表 步骤 1：制作当日变动数据（包括新增，修改）每日执行 （1）如何获得每日变动表 a.最好表内有创建时间和变动时...
Python-维度dim的定义及其理解使用
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
03-01 2万+
转载 目录 一、dim的定义 二、dim 的理解 三、举例 torch.argmax() sum() cumsum() 一、dim的定义 TensorFlow对张量的阶、维度、形状有着明确的定义，而在pytorh中对其的定义却模糊不清，仅仅有一个torch.size()的函数来查看张量的大小（我理解的这个大小指的就是TensorFlow对张量的形状描述，也和numpy的.shape类似）。所以，首先要搞清楚如何看一个张量的形状。 import torch z = torch.one
【数据仓库】【第八章】【数据仓库建模方法论 - 维度建模】【维度表】拉链表
weixin_43589563的博客
01-07 1467
拉链表使用场景 拉链表一般应用于维度表中； 当维度表中的每日发生变化的记录数比较少，但是我们又想存储表中所有的历史数据，这时候可以用拉链表 什么是拉链表 拉链表会在维度表中添加两个字段，一个是该行记录的生效时间，一个是该行记录的失效时间，记录每条信息的生命周期； 对于新增的记录来说，生效时间就是当天，失效时间为无穷大 对于失效的记录来说，比如说7月3号对记录进行了修改，此时将该记录的失效时间改为7月2号，表示其最后有效日期；并且新增一条记录起始时间为7月三号，失效时间为无穷大 拉链表的好处 在这种
数据仓库日期维度表创建存储过程
05-25
日期维度表是数据仓库中最常见的维度表之一，因为它在各种分析场景中都扮演着重要角色，如时间序列分析、趋势分析等。 日期维度表通常包含关于日期的各种属性，如年、季度、月、周、日、星期几、是否工作日、是否节...
大数据项目之电商数仓（3电商数据仓库系统）V4.2.2.docx
09-07
《大数据项目之电商数仓（3电商数据仓库系统）V4.2.2》文档主要阐述了电商领域的大数据处理和数据仓库构建的关键概念和技术。本文档的核心内容围绕数仓的分层、理论基础以及数据建模方法展开。 首先，数仓的分层...
数据仓库维度建模实践-体系搭建-网易01.pdf
10-30
DIM层是公共维度表，用于建立一致性维度数据，规范化维度属性，降低数据计算口径和算法不一致风险。 在业务过程和维度的梳理中，需要了解业务过程、度量、维度、维度属性的含义。业务过程是企业活动中的具体的、不...
数据仓库拉链表
02-14
-- 拉链表介绍 在数据分析中有时会需要维护一些历史状态，比如订单状态变化，评分变化，为了保存下来这些状态变化的路径，可以同过拉链表实现 -- 使用场景 1、数据量比计较大，但业务要求每次需要查询全量历史，每天存储一份全量数据太占用存储空间 2、记录变更不大，比如只有装填和更新时间有变动，其他字段都不变
dim_date.rar
05-25
在构建大数据仓库（数仓）的过程中，日期维度表是一个至关重要的组成部分。日期维度表提供了对时间数据的标准格式和丰富的业务描述，便于分析和查询。本项目"dim_date.rar"是基于Java 8、SpringBoot和MyBatis技术栈...
维度模型数据仓库（四） —— 初始装载
wzy0623的专栏
11-01 7041
（三）初始装载         在数据仓库可以使用前，需要装载历史数据。这些历史数据是导入进数据仓库的第一个数据集合。首次装载被称为初始装载，一般是一次性工作。由最终用户来决定有多少历史数据进入数据仓库。例如，数据仓库使用的开始时间是2015年3月1日，而用户希望装载两年的历史数据，那么应该初始装载2013年3月1日到2015年2月28日之间的源数据。在2015年3月2日装载2015年3月1日的
用户维度表（拉链表）
start_hadoop的博客
05-24 445
步骤0：初始化拉链表（首次独立执行） （1）建立拉链表 hive (gmall)> drop table if exists dwd_dim_user_info_his; create external table dwd_dim_user_info_his( id string COMMENT ‘用户id’, name string COMMENT ‘姓名’, birthday string COMMENT ‘生日’, gender string COMMENT ‘性别’, email string
维度模型数据仓库（十三） —— 退化维度
热门推荐
wzy0623的专栏
11-12 2万+
（五）进阶技术         8. 退化维度         本篇讨论一种称为退化维度的技术。该技术减少维度的数量，简化维度数据仓库的模式。简单的模式比复杂的更容易理解，也有更好的查询性能。当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把退化维度的相关数据迁移到事实表中，然后删除退化的维度。         退化订单维度         本节说明如何退化订单维度，包括对
Pytorch中维度dim的理解使用
长安山南君的博客
07-06 1462
0 引言 pytorch中的维度dim主要被用在torch.softmax和torch.max等等函数中。理清dim的意思对于正确使用这些函数有重要意义。 1 相关博文： Pytorch笔记：维度dim的定义及其理解使用 https://blog.csdn.net/qq_41375609/article/details/106078474 Pytorch中tensor维度和torch.max()函数中dim参数的理解： https://blog.csdn.net/twelve13/article/detai
数仓搭建 DIM 层
weixin_45417821的博客
10-23 713
文章目录商品维度表（全量）1，建表语句2，分区规划3，数据装载异常问题优惠券维度表（全量）1，建表语句2，分区规划3，数据装载活动维度表（全量）1，建表语句2，分区规划3，数据装载地区维度表（特殊）1，建表语句时间维度表（特殊）1， 建表语句2，数据装载用户维度表（拉链表）1，拉链表概述制作拉链表1，建表语句2，分区规划3，数据装载DIM层首日数据装载脚本1，编写脚本2，脚本使用DIM层每日数据装载脚本1，编写脚本 商品维度表（全量） 1，建表语句 DROP TABLE IF EXISTS dim_sku_
数仓设计规范
u012501054的博客
10-11 2557
此规范源自滴滴工作期间的实践一、数仓层级 层级 全拼 中文说明 备注 dim dimension 维度层 DIM数据层的表主要存放维度数据。数据表可以由手动维护的一个文件生成，或者先将mysql的原始数据表拉取到ods层，在通过HQL转换为dim表。该层为维度数据，维度是对具体分析对象的分析角度，维度要具备丰富的属性，历史信息的可追溯性，对通用的维表...
电商实时数仓分层与ODS层数据采集解析
"本文主要介绍了电商实时数仓的分层结构以及ODS层数据采集，对比了实时计算与实时数仓的区别，并探讨了离线、实时、即席查询的差异。" 在构建实时数仓的过程中，第1层通常是ODS（Operational Data Store，操作数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OneTenTwo76

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值