Flink Icerberg 离线输仓-维度建模过程（二）

wank1259162

已于 2022-07-04 15:57:22 修改

阅读量371

点赞数

分类专栏： Apache 文章标签： flink 数据仓库大数据

于 2022-07-04 15:07:04 首次发布

本文链接：https://blog.csdn.net/wank1259162/article/details/125600428

版权

Apache 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

维度建模过程

维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确认事实

选择业务过程

在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。

声明粒度

数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。

典型的粒度声明如下：

订单事实表中一行数据表示的是一个订单中的一个商品项；支付事实表中一行数据表示的是一个支付记录。

确定维度

维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。确定维度的原则是：后续需求中是否要分析相关维度的指标。

原始数据格式及字段含义

DWD层 6张基础表

基础表事实表和维度表


//member_log 用户基本信息表

member_log 用户基本信息表
{

"ad_id": "0",                 //广告id

"birthday": "1981-08-14",     //出生日期

"dt":"20190722",              //日期分区

"dn": "webA",                 //网站分区

"email": "test@126.com",

"fullname": "王69239",         //用户姓名

"iconurl": "-",

"lastlogin": "-",

"mailaddr": "-",

"memberlevel": "6",            //用户级别

"password": "123456",          //密码

"paymoney": "-",

"phone": "13711235451",        //手机号

"qq": "10000",

"register": "2016-08-15",     //注册时间

"regupdatetime": "-",

"uid": "69239",  //用户id

"unitname": "-",

"userip": "123.235.75.48",    //ip地址

"zipcode": "-"

}


member_regtype 用户跳转地址注册表
{

"appkey": "-",

"appregurl": "http:www.webA.com/product/register/index.html",  //注册时跳转地址

"bdp_uuid": "-",

"createtime": "2015-05-11",

"dt":"20190722",        //日期分区

"dn": "webA",           //网站分区

"domain": "-",

"isranreg": "-",

"regsource": "4",       //所属平台 1.PC  2.MOBILE  3.APP   4.WECHAT

"uid": "0",             //用户id

"websiteid": "0"        //对应basewebsitelog 下的siteid网站

}


base_ad_log 广告基础表原始json数据

{

"adid": "0",                  //基础广告表广告id

"adname": "注册弹窗广告0",     //广告详情名称

"dn": "webA"                  //网站分区
}


base_website_log 网站基础表原始json数据
{

"createtime": "2000-01-01",

"creator": "admin",

"delete": "0",

"dn": "webC",                  //网站分区

"siteid": "2",                 //网站id

"sitename": "114",             //网站名称

"siteurl": "www.114.com/webC"  //网站地址

}

//pcentermempaymoneylog 用户支付金额表
{

"dn":"webA",  //网站分区

"paymoney":"162.54",   //支付金额

"siteid":"1",          //网站id对应 对应basewebsitelog 下的siteid网站

"dt":"20190722",       //日期分区

"uid":"4376695",       //用户id

"vip_id":"0"           //对应pcentermemviplevellog vip_id

}

//pcentermem_vip_level_log用户vip等级基础表
{

"discountval": "-",

"dn": "webA",                  //网站分区

"end_time": "2019-01-01",      //vip结束时间

"last_modify_time": "2019-01-01",

"max_free": "-",

"min_free": "-",

"next_level": "-",

"operator": "update",

"start_time": "2015-02-07",    //vip开始时间

"vip_id": "2",  //vip id

"vip_level": "银卡"             //vip级别名称

}