11.数据仓库搭建之DWS层搭建

最新推荐文章于 2024-07-31 19:38:21 发布
最新推荐文章于 2024-07-31 19:38:21 发布
阅读量2.7k 收藏 20
点赞数 1
分类专栏： 东软睿购跨境电商数仓项目 文章标签： 数据仓库 数据库 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mmj666/article/details/125786477
版权
本文详细介绍了数据仓库DWS层的搭建，包括最近1日、最近n日及历史至今的汇总表设计。内容涵盖交易域与流量域的各种粒度指标，如订单、退单、支付等，并提供了数据装载的建表语句和脚本编写方法。
摘要由CSDN通过智能技术生成

数据仓库搭建之DWS层搭建

在搭建该层时，我们需要注意的是：

1）本层的设计主要参考指标体系

2）DWS层数据的数据存储格式为orc列式存储+snappy压缩。

3）DWS层表名的命名规范为：dws _ 数据域 _ 统计粒度 _ 业务过程 _ 统计周期（1d/nd/td）

其中1d表示最近一天的聚合统计，nd表示最近n天的聚合统计，而td表示历史至今的聚合统计。

对于DWS层而言，我们需要根据我们的需要来确定是否在DWS层构建聚合数据的表，如果某些数据指标被多个需求使用到，那么我们就需要提前进行汇聚计算。这样会大大提高我们的效率。

1.指标体系确定

我们在先前进行数据仓库设计的时候，根据现有的统计需求整理出了指标体系，后续又根据指标体系抽取出了所有的派生指标：

在这里插入图片描述
在这里插入图片描述
我们将相同业务过程，相同统计周期以及相同统计粒度的指标都放在一张DWS层表当中。

2.DWS层最近1日汇总表设计

2.1 交易域用户商品粒度订单（下单）最近1日汇总表

2.1.1建表语句
DROP TABLE IF EXISTS dws_trade_user_sku_order_1d;
CREATE EXTERNAL TABLE dws_trade_user_sku_order_1d
(
    `user_id`                   STRING COMMENT '用户id',
    `sku_id`                    STRING COMMENT 'sku_id',
    `sku_name`                  STRING COMMENT 'sku名称',
    `category1_id`              STRING COMMENT '一级分类id',
    `category1_name`            STRING COMMENT '一级分类名称',
    `category2_id`              STRING COMMENT '一级分类id',
    `category2_name`            STRING COMMENT '一级分类名称',
    `category3_id`              STRING COMMENT '一级分类id',
    `category3_name`            STRING COMMENT '一级分类名称',
    `tm_id`                     STRING COMMENT '品牌id',
    `tm_name`                   STRING COMMENT '品牌名称',
    `order_count_1d`            BIGINT COMMENT '最近1日下单次数',
    `order_num_1d`              BIGINT COMMENT '最近1日下单件数',
    `order_original_amount_1d`  DECIMAL(16, 2) COMMENT '最近1日下单原始金额',
    `activity_reduce_amount_1d` DECIMAL(16, 2) COMMENT '最近1日活动优惠金额',
    `coupon_reduce_amount_1d`   DECIMAL(16, 2) COMMENT '最近1日优惠券优惠金额',
    `order_total_amount_1d`     DECIMAL(16, 2) COMMENT '最近1日下单最终金额'
) COMMENT '交易域用户商品粒度订单最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_sku_order_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.1.2数据装载

1）首日装载：

set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table dws_trade_user_sku_order_1d partition(dt)
select
    user_id,
    id,
    sku_name,
    category1_id,
    category1_name,
    category2_id,
    category2_name,
    category3_id,
    category3_name,
    tm_id,
    tm_name,
    order_count_1d,
    order_num_1d,
    order_original_amount_1d,
    activity_reduce_amount_1d,
    coupon_reduce_amount_1d,
    order_total_amount_1d,
    dt
from
(
    select
        dt,
        user_id,
        sku_id,
        count(*) order_count_1d,
        sum(sku_num) order_num_1d,
        sum(split_original_amount) order_original_amount_1d,
        sum(nvl(split_activity_amount,0.0)) activity_reduce_amount_1d,
        sum(nvl(split_coupon_amount,0.0)) coupon_reduce_amount_1d,
        sum(split_total_amount) order_total_amount_1d
    from dwd_trade_order_detail_inc
    group by dt,user_id,sku_id
)od
left join
(
    select
        id,
        sku_name,
        category1_id,
        category1_name,
        category2_id,
        category2_name,
        category3_id,
        category3_name,
        tm_id,
        tm_name
    from dim_sku_full
    where dt='2022-05-01'
)sku
on od.sku_id=sku.id;

2）每日装载：

insert overwrite table dws_trade_user_sku_order_1d partition(dt='2022-05-02')
select
    user_id,
    id,
    sku_name,
    category1_id,
    category1_name,
    category2_id,
    category2_name,
    category3_id,
    category3_name,
    tm_id,
    tm_name,
    order_count,
    order_num,
    order_original_amount,
    activity_reduce_amount,
    coupon_reduce_amount,
    order_total_amount
from
(
    select
        user_id,
        sku_id,
        count(*) order_count,
        sum(sku_num) order_num,
        sum(split_original_amount) order_original_amount,
        sum(nvl(split_activity_amount,0)) activity_reduce_amount,
        sum(nvl(split_coupon_amount,0)) coupon_reduce_amount,
        sum(split_total_amount) order_total_amount
    from dwd_trade_order_detail_inc
    where dt='2020-06-15'
    group by user_id,sku_id
)od
left join
(
    select
        id,
        sku_name,
        category1_id,
        category1_name,
        category2_id,
        category2_name,
        category3_id,
        category3_name,
        tm_id,
        tm_name
    from dim_sku_full
    where dt='2022-05-02'
)sku
on od.sku_id=sku.id;

2.2 交易域用户商品粒度退单最近1日汇总表

2.2.1建表语句
DROP TABLE IF EXISTS dws_trade_user_sku_order_refund_1d;
CREATE EXTERNAL TABLE dws_trade_user_sku_order_refund_1d
(
    `user_id`                    STRING COMMENT '用户id',
    `sku_id`                     STRING COMMENT 'sku_id',
    `sku_name`                   STRING COMMENT 'sku名称',
    `category1_id`               STRING COMMENT '一级分类id',
    `category1_name`             STRING COMMENT '一级分类名称',
    `category2_id`               STRING COMMENT '一级分类id',
    `category2_name`             STRING COMMENT '一级分类名称',
    `category3_id`               STRING COMMENT '一级分类id',
    `category3_name`             STRING COMMENT '一级分类名称',
    `tm_id`                      STRING COMMENT '品牌id',
    `tm_name`                    STRING COMMENT '品牌名称',
    `order_refund_count_1d`      BIGINT COMMENT '最近1日退单次数',
    `order_refund_num_1d`        BIGINT COMMENT '最近1日退单件数',
    `order_refund_amount_1d`     DECIMAL(16, 2) COMMENT '最近1日退单金额'
) COMMENT '交易域用户商品粒度退单最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_sku_order_refund_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.2.2数据装载

1）首日装载

set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table dws_trade_user_sku_order_refund_1d partition(dt)
select
    user_id,
    sku_id,
    sku_name,
    category1_id,
    category1_name,
    category2_id,
    category2_name,
    category3_id,
    category3_name,
    tm_id,
    tm_name,
    order_refund_count,
    order_refund_num,
    order_refund_amount,
    dt
from
(
    select
        dt,
        user_id,
        sku_id,
        count(*) order_refund_count,
        sum(refund_num) order_refund_num,
        sum(refund_amount) order_refund_amount
    from dwd_trade_order_refund_inc
    group by dt,user_id,sku_id
)od
left join
(
    select
        id,
        sku_name,
        category1_id,
        category1_name,
        category2_id,
        category2_name,
        category3_id,
        category3_name,
        tm_id,
        tm_name
    from dim_sku_full
    where dt='2022-05-01'
)sku
on od.sku_id=sku.id;

2）每日装载

insert overwrite table dws_trade_user_sku_order_refund_1d partition(dt='2022-05-02')
select
    user_id,
    sku_id,
    sku_name,
    category1_id,
    category1_name,
    category2_id,
    category2_name,
    category3_id,
    category3_name,
    tm_id,
    tm_name,
    order_refund_count,
    order_refund_num,
    order_refund_amount
from
(
    select
        user_id,
        sku_id,
        count(*) order_refund_count,
        sum(refund_num) order_refund_num,
        sum(refund_amount) order_refund_amount
    from dwd_trade_order_refund_inc
    where dt='2022-05-02'
    group by user_id,sku_id
)od
left join
(
    select
        id,
        sku_name,
        category1_id,
        category1_name,
        category2_id,
        category2_name,
        category3_id,
        category3_name,
        tm_id,
        tm_name
    from dim_sku_full
    where dt='2022-05-02'
)sku
on od.sku_id=sku.id;

2.3 交易域用户粒度订单（下单）最近1日汇总表

2.3.1建表语句
DROP TABLE IF EXISTS dws_trade_user_order_1d;
CREATE EXTERNAL TABLE dws_trade_user_order_1d
(
    `user_id`                   STRING COMMENT '用户id',
    `order_count_1d`            BIGINT COMMENT '最近1日下单次数',
    `order_num_1d`              BIGINT COMMENT '最近1日下单商品件数',
    `order_original_amount_1d`  DECIMAL(16, 2) COMMENT '最近1日最近1日下单原始金额',
    `activity_reduce_amount_1d` DECIMAL(16, 2) COMMENT '最近1日下单活动优惠金额',
    `coupon_reduce_amount_1d`   DECIMAL(16, 2) COMMENT '下单优惠券优惠金额',
    `order_total_amount_1d`     DECIMAL(16, 2) COMMENT '最近1日下单最终金额'
) COMMENT '交易域用户粒度订单最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_order_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.3.2数据装载

1）首日装载

insert overwrite table dws_trade_user_order_1d partition(dt)
select
    user_id,
    count(distinct(order_id)),
    sum(sku_num),
    sum(split_original_amount),
    sum(nvl(split_activity_amount,0)),
    sum(nvl(split_coupon_amount,0)),
    sum(split_total_amount),
    dt
from dwd_trade_order_detail_inc
group by user_id,dt;

2）每日装载

insert overwrite table dws_trade_user_order_1d partition(dt='2022-05-02')
select
    user_id,
    count(distinct(order_id)),
    sum(sku_num),
    sum(split_original_amount),
    sum(nvl(split_activity_amount,0)),
    sum(nvl(split_coupon_amount,0)),
    sum(split_total_amount)
from dwd_trade_order_detail_inc
where dt='2022-05-02'
group by user_id;

2.4 交易域用户粒度加购最近1日汇总表

2.4.1建表语句
DROP TABLE IF EXISTS dws_trade_user_cart_add_1d;
CREATE EXTERNAL TABLE dws_trade_user_cart_add_1d
(
    `user_id`           STRING COMMENT '用户id',
    `cart_add_count_1d` BIGINT COMMENT '最近1日加购次数',
    `cart_add_num_1d`   BIGINT COMMENT '最近1日加购商品件数'
) COMMENT '交易域用户粒度加购最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_cart_add_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.4.2数据装载

1）首日装载

insert overwrite table dws_trade_user_cart_add_1d partition(dt)
select
    user_id,
    count(*),
    sum(sku_num),
    dt
from dwd_trade_cart_add_inc
group by user_id,dt;

2）每日装载

insert overwrite table dws_trade_user_cart_add_1d partition(dt='2022-05-02')
select
    user_id,
    count(*),
    sum(sku_num)
from dwd_trade_cart_add_inc
where dt='2022-05-02'
group by user_id;

2.5 交易域用户粒度支付最近1日汇总表

2.5.1建表语句
DROP TABLE IF EXISTS dws_trade_user_payment_1d;
CREATE EXTERNAL TABLE dws_trade_user_payment_1d
(
    `user_id`           STRING COMMENT '用户id',
    `payment_count_1d`  BIGINT COMMENT '最近1日支付次数',
    `payment_num_1d`    BIGINT COMMENT '最近1日支付商品件数',
    `payment_amount_1d` DECIMAL(16, 2) COMMENT '最近1日支付金额'
) COMMENT '交易域用户粒度支付最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_payment_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.5.2数据装载

1）首日装载

insert overwrite table dws_trade_user_payment_1d partition(dt)
select
    user_id,
    count(distinct(order_id)),
    sum(sku_num),
    sum(split_payment_amount),
    dt
from dwd_trade_pay_detail_suc_inc
group by user_id,dt;

2）每日装载

insert overwrite table dws_trade_user_payment_1d partition(dt='2022-05-02')
select
    user_id,
    count(distinct(order_id)),
    sum(sku_num),
    sum(split_payment_amount)
from dwd_trade_pay_detail_suc_inc
where dt='2022-05-02'
group by user_id;

2.6 交易域省份粒度订单最近1日汇总表

2.6.1建表语句
DROP TABLE IF EXISTS dws_trade_province_order_1d;
CREATE EXTERNAL TABLE dws_trade_province_order_1d
(
    `province_id`               STRING COMMENT '省份id',
    `province_name`             STRING COMMENT '省份名称',
    `area_code`                 STRING COMMENT '地区编码',
    `iso_code`                  STRING COMMENT '旧版ISO-3166-2编码',
    `iso_3166_2`                STRING COMMENT '新版版ISO-3166-2编码',
    `order_count_1d`            BIGINT COMMENT '最近1日下单次数',
    `order_original_amount_1d`  DECIMAL(16, 2) COMMENT '最近1日下单原始金额',
    `activity_reduce_amount_1d` DECIMAL(16, 2) COMMENT '最近1日下单活动优惠金额',
    `coupon_reduce_amount_1d`   DECIMAL(16, 2) COMMENT '最近1日下单优惠券优惠金额',
    `order_total_amount_1d`     DECIMAL(16, 2) COMMENT '最近1日下单最终金额'
) COMMENT '交易域省份粒度订单最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_province_order_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.6.2数据装载

1）首日装载

set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table dws_trade_province_order_1d partition(dt)
select
    province_id,
    province_name,
    area_code,
    iso_code,
    iso_3166_2,
    order_count_1d,
    order_original_amount_1d,
    activity_reduce_amount_1d,
    coupon_reduce_amount_1d,
    order_total_amount_1d,
    dt
from
(
    select
        province_id,
        count(distinct(order_id)) order_count_1d,
        sum(split_original_amount) order_original_amount_1d,
        sum(nvl(split_activity_amount,0)) activity_reduce_amount_1d,
        sum(nvl(split_coupon_amount,0)) coupon_reduce_amount_1d,
        sum(split_total_amount) order_total_amount_1d,
        dt
    from dwd_trade_order_detail_inc
    group by province_id,dt
)o
left join
(
    select
        id,
        province_name,
        area_code,
        iso_code,
        iso_3166_2
    from dim_province_full
    where dt='2022-05-01'
)p
on o.province_id=p.id;

2）每日装载

insert overwrite table dws_trade_province_order_1d partition(dt='2022-05-02')
select
    province_id,
    province_name,
    area_code,
    iso_code,
    iso_3166_2,
    order_count_1d,
    order_original_amount_1d,
    activity_reduce_amount_1d,
    coupon_reduce_amount_1d,
    order_total_amount_1d
from
(
    select
        province_id,
        count(distinct(order_id)) order_count_1d,
        sum(split_original_amount) order_original_amount_1d,
        sum(nvl(split_activity_amount,0)) activity_reduce_amount_1d,
        sum(nvl(split_coupon_amount,0)) coupon_reduce_amount_1d,
        sum(split_total_amount) order_total_amount_1d
    from dwd_trade_order_detail_inc
    where dt='2022-05-02'
    group by province_id
)o
left join
(
    select
        id,
        province_name,
        area_code,
        iso_code,
        iso_3166_2
    from dim_province_full
    where dt='2022-05-02'
)p
on o.province_id=p.id;

2.7 交易域用户粒度退单最近1日汇总表

2.7.1建表语句
DROP TABLE IF EXISTS dws_trade_user_order_refund_1d;
CREATE EXTERNAL TABLE dws_trade_user_order_refund_1d
(
    `user_id`                STRING COMMENT '用户id',
    `order_refund_count_1d`  BIGINT COMMENT '最近1日退单次数',
    `order_refund_num_1d`    BIGINT COMMENT '最近1日退单商品件数',
    `order_refund_amount_1d` DECIMAL(16, 2) COMMENT '最近1日退单金额'
) COMMENT '交易域用户粒度退单最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_trade_user_order_refund_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.7.2数据装载

1）首日装载

set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table dws_trade_user_order_refund_1d partition(dt)
select
    user_id,
    count(*) order_refund_count,
    sum(refund_num) order_refund_num,
    sum(refund_amount) order_refund_amount,
    dt
from dwd_trade_order_refund_inc
group by user_id,dt;

2）每日装载

insert overwrite table dws_trade_user_order_refund_1d partition(dt='2022-05-02')
select
    user_id,
    count(*),
    sum(refund_num),
    sum(refund_amount)
from dwd_trade_order_refund_inc
where dt='2022-05-02'
group by user_id;

2.8 流量域会话粒度页面浏览最近1日汇总表

2.8.1建表语句
DROP TABLE IF EXISTS dws_traffic_session_page_view_1d;
CREATE EXTERNAL TABLE dws_traffic_session_page_view_1d
(
    `session_id`     STRING COMMENT '会话id',
    `mid_id`         string comment '设备id',
    `brand`          string comment '手机品牌',
    `model`          string comment '手机型号',
    `operate_system` string comment '操作系统',
    `version_code`   string comment 'app版本号',
    `channel`        string comment '渠道',
    `during_time_1d` BIGINT COMMENT '最近1日访问时长',
    `page_count_1d`  BIGINT COMMENT '最近1日访问页面数'
) COMMENT '流量域会话粒度页面浏览最近1日汇总表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_traffic_session_page_view_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.8.2数据装载
insert overwrite table dws_traffic_session_page_view_1d partition(dt='2022-05-01')
select
    session_id,
    mid_id,
    brand,
    model,
    operate_system,
    version_code,
    channel,
    sum(during_time),
    count(*)
from dwd_traffic_page_view_inc
where dt='2022-05-01'
group by session_id,mid_id,brand,model,operate_system,version_code,channel;

2.9 流量域访客页面粒度页面浏览最近1日汇总表

2.9.1建表语句
DROP TABLE IF EXISTS dws_traffic_page_visitor_page_view_1d;
CREATE EXTERNAL TABLE dws_traffic_page_visitor_page_view_1d
(
    `mid_id`         STRING COMMENT '访客id',
    `brand`          string comment '手机品牌',
    `model`          string comment '手机型号',
    `operate_system` string comment '操作系统',
    `page_id`        STRING COMMENT '页面id',
    `during_time_1d` BIGINT COMMENT '最近1日浏览时长',
    `view_count_1d`  BIGINT COMMENT '最近1日访问次数'
) COMMENT '流量域访客页面粒度页面浏览最近1日汇总事实表'
    PARTITIONED BY (`dt` STRING)
    STORED AS ORC
    LOCATION '/warehouse/gmall/dws/dws_traffic_page_visitor_page_view_1d'
    TBLPROPERTIES ('orc.compress' = 'snappy');
2.9.2数据装载
insert overwrite table dws_traffic_page_visitor_page_view_1d partition(dt='2022-05-01')
select
    mid_id,
    brand,
    model,
    operate_system,
    page_id,
    sum(during_time),
    count(*)
from dwd_traffic_page_view_inc
where dt='2022-05-01'
group by mid_id,brand,model,operate_system,page_id;

2.10 数据装载脚本编写

2.10.1首日数据装载脚本编写

（1）在hadoop102的**/home/hadoop/bin目录下创建dwd_to_dws_1d_init.sh**

脚本内容如下所示：

#!/bin/bash
APP=gmall

if [ -n "$2" ]
最低0.47元/天 解锁文章
Mmj666
关注
  • 1
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
12.数据仓库搭建之ADS层搭建
Mmj666的博客
07-14 3172
12.数据仓库搭建之ADS层搭建
简单搞定数仓搭建:数仓模型(DWS)
github_36444580的博客
08-18 1317
公共汇总粒度事实层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总指标事实表。公共汇总层的一个表通常会对应一个派生指标。 公共汇总事实表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS公共汇总层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个类目（例如：厨具）商品在各省的销售总额、该类目Top10销售额商品名称、各省用户购买力分布。因此，我们可以以最终交易成功的商品、类目、买家等角度对最近一天的数据进行汇总。 注意 聚集是不跨越事实的。聚
数仓分层——ODS、DW、ADS
麦当当的博客
05-07 3605
ODS（Operational Data Store，运营数据存储）是数据仓库体系结构中的一个重要组成部分，通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据，提供给业务用户和决策者进行日常的操作性查询和分析。数据来源： ODS 层的数据主要来自于组织内部的业务应用系统，如企业资源计划（ERP）、客户关系管理（CRM）、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的，包含了组织的日常业务活动的详细信息。数据存储。
数据仓库搭建DWS层
qq_55906442的博客
05-27 1304
本篇只是DWS层，其他内容请关注我的博客！在<项目>专栏里！！！ 本篇文章参考尚硅谷大数据项目写成！ 一、业务术语 1）用户 用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据IMEI号，IOS系统根据OpenUDID来标识一个独立用户，每部手机一个用户。 2）新增用户 首次联网使用应用的用户。如果一个用户首次打开某APP，那这个用户定义为新增用户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。
6.数据仓库搭建之数据仓库设计
Mmj666的博客
07-02 2997
数据仓库搭建之数据仓库设计
数仓搭建——DWS层
zhangzhagn_的博客
07-27 465
数仓搭建笔记——DWS层
话单数据仓库搭建（3）- 数据仓库DWS及ADS层
qq_42409495的博客
12-27 1291
1 活跃用户 1.1 DWS层 目标：统计当日、当周、当月活跃用户 活跃用户指的是在统计周期内由过通话记录的用户 1.1.1 每日活跃用户明细 1）建表语句 hive (calllogs)> drop table if exists dws_au_detail_day; create table dws_au_detail_day( sys_id string, service_name string, home_province_code string, visit_province_
数据仓库之电商数仓-- 3.2、电商数据仓库系统(DWS层)
FunnyPrince_的博客
10-20 710
目录七、数仓搭建-DWS层7.1 系统函数7.1.1 nvl函数7.1.2 日期处理函数7.1.3 复杂数据类型定义7.2 DWS层7.2.1 访客主题7.2.2 用户主题7.2.3 商品主题7.2.4 优惠券主题7.2.5 活动主题7.2.6 地区主题7.2.7 DWS层首日数据装载脚本7.2.8 DWS层每日数据装载脚本 七、数仓搭建-DWS层 7.1 系统函数 7.1.1 nvl函数 基本语法： NVL（表达式1，表达式2） 如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 该函
（37）数仓搭建-DWS 层
song_quan_的博客
07-14 246
5.1 业务术语 1）用户 用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android 系统根据 IMEI 号，IOS 系统根据 OpenUDID 来标识一个独立用户，每部手机一个用户。 2）新增用户 首次联网使用应用的用户。如果一个用户首次打开某 APP，那这个用户定义为新增用 户；卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户、周新增用户、月 新增用户。 3）活跃用户 打开应用的用户即为活跃用户，不考虑用户的使用情况。每天一台设备
数仓搭建DWS层
noob9527的博客
04-24 2280
尚硅谷电商数仓DWS层
数据仓库维度建模实践-体系搭建-网易01.pdf
10-30
目前应用广泛的是如下三层数据模型：操作数据层（ODS）、公共模型层（DWD和DWS）、应用数据层（ADS）。 在公共模型层中，DWD层存储的是明细数据，面向业务过程建模。DWS层是公共汇总数据层，面向分析主题建模，为...
2023数据仓库建设方案.pdf
08-28
数据标准的规范、数据仓库的搭建、报表体系的建设等，都需要有明确的建设思路。业务系统未全部打通，无法关联进行报表展示同一个字段，各系统口径不一致，业务系统报表效率低下，查询与导出缓慢。 2. 数据仓库建设...
数据仓库维度建模实践-模型设计-网易03.pdf
10-30
数据仓库维度建模实践模型设计 在数据仓库维度建模实践中，模型设计是非常重要的一步。它强调从业务、数据存取和使用角度合理存储数据，以满足企业数仓的要求：强稳定、高质量、高效率、低成本。 一、数据仓库维度...
如何使用Scrum敏捷方法-快速搭建数据集市？.docx
12-16
通过Scrum敏捷方法，团队可以按需逐步构建DWS层表，每个Sprint针对特定业务场景进行优化，确保数据集市能够及时响应业务需求，提高数据的可用性和业务效益。 总结来说，使用Scrum敏捷方法快速搭建数据集市，可以...
基于onedata的数据仓库建设
04-02
4. 汇总层（DWS）：确定数据仓库的汇总层，以便更好地分析和报表数据。 5. 数据集市层（DM）：确定数据仓库的数据集市层，以便更好地支持企业的业务决策和数据分析活动。 基于onedata的数据仓库建设需要遵循一定的...
数据仓库中的数据治理流程
weixin_72431427的博客
07-21 1086
数据仓库中的数据治理流程，包括策划、制定规则、執行、监控和改进等关键步骤，帮助读者了解并应用数据治理流程
简单的 mongoDB 学习
qq_19342829的博客
07-31 445
mongodb入门学习整理
社区养老服务小程序的设计
最新发布
Karen198的博客
07-31 395
管理员账户功能包括：系统首页，个人中心，用户管理，服务人员管理，服务产品管理，服务预约管理，服务状态管理，服务退订管理，活动管理，视频管理。主要技术：Java,Spring,mybatis,mysql,jquery,html。服务器：SpringBoot自带 apache tomcat。微信端账号功能包括：系统首页，服务产品，活动，视频，我的。JDK版本：Java JDK1.8。数据库可视化工具： navicat。数据库版本： mysql5.7。开发工具：IDEA(推荐)开发系统：Windows。
autosar DWS
07-12
AUTOSAR (Automotive Open System Architecture) 是一种用于汽车电子系统的开放架构标准，它定义了软件和通信组件之间的接口规范。DWS (Data Wired Services) 是AUTOSAR的一个重要模块，专注于数据交换服务。DWS负责处理车辆内的实时数据传输，如传感器读数、控制指令等。它基于面向服务的思想，将系统分解为一组服务，每个服务都有明确的功能和接口定义。 DWS提供了标准化的数据模型和通信协议，支持跨硬件平台和服务提供商的数据共享，促进了不同供应商之间软件的互操作性和模块化设计。它允许模块化的软件开发，提高了软件的复用性、可靠性和安全性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值