05-数据仓库之建模实例

最新推荐文章于 2024-08-17 20:23:47 发布

weixin_33836223

最新推荐文章于 2024-08-17 20:23:47 发布

阅读量1.6k

点赞数

文章标签：数据库

原文链接：http://www.cnblogs.com/lihaozong2013/p/10740309.html

版权

1、缘由

　　　　　　本文主要涉及的是建表，不是计算指标。

2、mysql表

　　　　　　假设mysql中存在下面的八张表：

3、ods

　　　　　　　　ods层和源数据最好保持一致：　　　　

//创建用户表

drop table if exists ods_user_info;
create table ods_user_info( 
    `id` string COMMENT '用户id',
    `name`  string COMMENT '姓名', 
    `birthday` string COMMENT '生日' ,
    `gender` string COMMENT '性别',  
    `email` string COMMENT '邮箱',  
    `user_level` string COMMENT '用户等级',  
    `create_time` string COMMENT '创建时间'
) COMMENT '用户信息'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_user_info/'
tblproperties ("parquet.compression"="snappy")


//创建订单表

drop table if exists ods_order_info;
create table ods_order_info ( 
    `id` string COMMENT '订单编号',
    `total_amount` decimal(10,2) COMMENT '订单金额', 
    `order_status` string COMMENT '订单状态', 
    `user_id` string COMMENT '用户id' ,
    `payment_way` string COMMENT '支付方式',  
    `out_trade_no` string COMMENT '支付流水号',  
    `create_time` string COMMENT '创建时间',  
    `operate_time` string COMMENT '操作时间' 
) COMMENT '订单表'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_order_info/'
tblproperties ("parquet.compression"="snappy")
;

//创建订单详情表

drop table if exists ods_order_detail;
create table ods_order_detail( 
    `id` string COMMENT '订单编号',
    `order_id` string  COMMENT '订单号', 
    `user_id` string COMMENT '用户id' ,
    `sku_id` string COMMENT '商品id',  
    `sku_name` string COMMENT '商品名称',  
    `order_price` string COMMENT '下单价格',  
    `sku_num` string COMMENT '商品数量',  
    `create_time` string COMMENT '创建时间'
) COMMENT '订单明细表'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_order_detail/'
tblproperties ("parquet.compression"="snappy")

//创建支付流水表

drop table if exists `ods_payment_info`;
create table  `ods_payment_info`(
    `id`   bigint COMMENT '编号',
    `out_trade_no`    string COMMENT '对外业务编号',
    `order_id`        string COMMENT '订单编号',
    `user_id`         string COMMENT '用户编号',
    `alipay_trade_no` string COMMENT '支付宝交易流水编号',
    `total_amount`    decimal(16,2) COMMENT '支付金额',
    `subject`         string COMMENT '交易内容',
    `payment_type` string COMMENT '支付类型',
    `payment_time`   string COMMENT '支付时间'
   )  COMMENT '支付流水表'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_payment_info/'
tblproperties ("parquet.compression"="snappy")
;

//创建商品一级、二级、三级分类表

drop table if exists ods_base_category1;
create table ods_base_category1( 
    `id` string COMMENT 'id',
    `name`  string COMMENT '名称'
) COMMENT '商品一级分类'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_base_category1/'
tblproperties ("parquet.compression"="snappy")
;

drop table if exists ods_base_category2;
create external table ods_base_category2( 
    `id` string COMMENT ' id',
    `name`  string COMMENT '名称',
    category1_id string COMMENT '一级品类id'
) COMMENT '商品二级分类'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_base_category2/'
tblproperties ("parquet.compression"="snappy")
;

drop table if exists ods_base_category3;
create table ods_base_category3( 
    `id` string COMMENT ' id',
    `name`  string COMMENT '名称',
    category2_id string COMMENT '二级品类id'
) COMMENT '商品三级分类'
PARTITIONED BY ( `dt` string)
row format delimited  fields terminated by '\t' 
location '/warehouse/gmall/ods/ods_base_category3/'
tblproperties ("parquet.compression"="snappy")
;

4、dwd　　

　　　　　　　　①将文件的存储格式改为parquet

　　　　　　　　②对三级商品进行降维

　　　　　　　　　　　　　注：从下面的建表sql中可以看出，只有商品表的创建有变化

　　　　　　　　③当然在导数据的过程中，也可以进行ETL（去空，去脏数据等）

//创建用户表
drop table if exists dwd_user_info;
create external table dwd_user_info( 
   .....
) COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_user_info/'
tblproperties ("parquet.compression"="snappy")

//创建订单表
drop table if exists dwd_order_info;
create external table dwd_order_info ( 
    .....
) COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_order_info/'
tblproperties ("parquet.compression"="snappy")
;

//创建订单详情表
drop table if exists dwd_order_detail;
create external table dwd_order_detail( 
    .....
) COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_order_detail/'
tblproperties ("parquet.compression"="snappy")
;
//创建支付流水表
drop table if exists `dwd_payment_info`;
create external  table  `dwd_payment_info`(
    .....
   )  COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_payment_info/'
tblproperties ("parquet.compression"="snappy")

//创建商品表

drop table if exists dwd_sku_info;
create external table dwd_sku_info( 
    `id` string COMMENT 'skuId',
    `spu_id` string COMMENT 'spuid', 
    `price` decimal(10,2) COMMENT '' ,
    `sku_name` string COMMENT '',  
    `sku_desc` string COMMENT '',  
    `weight` string COMMENT '',  
    `tm_id` string COMMENT 'id',  
    `category3_id` string COMMENT '1id',  
    `category2_id` string COMMENT '2id',  
    `category1_id` string COMMENT '3id',  
    `category3_name` string COMMENT '3',  
    `category2_name` string COMMENT '2',  
    `category1_name` string COMMENT '1',  
    `create_time` string COMMENT ''
) COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_sku_info/'
tblproperties ("parquet.compression"="snappy")

5、DWS

　　　　以每日为粒度，对用户这个实体进行轻度汇总，建立每日用户行为宽表

drop table if exists dws_user_action;

create external table dws_user_action (

　　user_id string comment '用户 id',

　　order_count bigint comment '下单次数 ',

　　order_amount decimal(16,2) comment '下单金额 ',

　　payment_count bigint comment '支付次数',

　　payment_amount decimal(16,2) comment '支付金额 ',

　　comment_count bigint comment '评论次数'

) COMMENT '每日用户行为宽表'

PARTITIONED BY ( `dt` string)

stored as parquet

location '/warehouse/gmall/dws/dws_user_action/' tblproperties ("parquet.compression"="snappy");

6、ads层

　　　　　　①求GVM

　　　　　　　　　　定义：一定时间段内的成交总额。即用户下单金额：包括未付款、已付款。因为只要下单了，就说明已经有足够的吸引力了。
　　　　　　　　　　需求：单日GMV,单日订单数量、单日收入等

　　　　　　　　　　思路：从需求可以看出：因为每天都要统计，所以在dm层（ads层）还需要一张表：

        create table ads_gmv_sum_day(
            'dt'        string        comment '统计日期',
            'gmv_count'    long        comment '当日gmv个数',
            'gmv_amount'    decimal(16,2)    comment '当日gmv订单总金额',
            'gmv_payment'    decimal(16,2)    comment '当日支付金额'
        )comment '用户行为宽表'    
        stored as parquet                        //存储格式
        location '/warehouse/online_trade/ads/ads_gmv_sum_day'    
        tblproperties("parquet.compression"="snappy")            //压缩算法

　　　　　　②求转化率

　　　　　　　　　　新访问用户转化率 = 单日新访问设备数/日活数

　　　　　　　　　　新注册用户转化率 = 单日新注册用户数/日活数

　　　　　　　　　　新付费用户转化率 = 单日新付费用户数/日活数

　　　　　　　　　　付费用户转化率 = 单日消费用户数/单日日活数量

　　　　　　　　　　思路：需要在ads中建立一张表：
　　　　　　

drop table if exists ads_user_convert_day;
create table ads_user_convert_day(
'dt'    string    comment '统计日期',
'uv_count' bigint    comment '当日日活',
'new_visitor_count'    bigint    comment '当日新增访问设备数量',
'new_regi_u_count'    bigint    comment '当日新增用户注册数量',    //从user_info中的create_date ='2019-02-21'
'new_consume_u_count'    bigint    comment '当日新增用户消费数量'
'new_consume_count'    bigint    comment '当日消费数量'
）comment '每日活跃用户转化情况'
partitioned by('dt' string)    
stored as parquet    //存储格式
location '/warehouse/online_trade/ads/ads_user_convert_day'    
tblproperties("parquet.compression"="snappy")    //压缩算法

　　　　　　　③用户行为漏斗分析

    create table ads_event_convert_day(
        'dt'            string        comment '统计日期',
        'total_visitor_mcount'    bigint        comment '点击商品人数',
        'visit2Item_convert_ratio'    decimal(10,2)    comment '首页到点击商品转化率',
        'addcart_u_count'        bigint        comment '添加购物车人数',
        ........                    comment '点击商品到添加购物车转化率',
        ........                    comment '下单人数',
        ........                    comment '购物车到下单转化率',
        ........                    comment '支付人数',
        ........                    comment '下单到支付的转化率'
    )comment '每日活跃用户转化情况'
    partitioned by('dt' string)    
    stored as parquet                        //存储格式
    location '/warehouse/online_trade/ads/ads_event_convert_day'    
    tblproperties("parquet.compression"="snappy")            //压缩算法