数据仓库
火成哥哥
这个作者很懒,什么都没留下…
展开
-
电商数仓项目总结
一、项目整体架构二、数据说明2.1 用户行为数据1、启动日志数据是一个单 json 数据2、事件日志数据组成:时间戳、公共字段、事件日志事件:(1) 商品列表(2) 商品点击(3) 商品详情(4) 广告(5) 消息通知(6) 用户后台活跃(7) 评论(8) 收藏(9) 点赞(10) 错误日志2.2 业务数据1、订单表2、订单详情表3、sku 商品表4、...原创 2020-05-05 11:05:09 · 6353 阅读 · 5 评论 -
电商数仓(ads 层)
一、ads 层介绍对电商系统各大主题指标分别进行分析,本项目中分析了四大主题·:设备主题、会员主题、商品主题、营销主题。二、业务术语1、用户用户以设备为判断标准,在移动统计中,每个独立设备认为是一个独立用户。Android 系统根据 IMEI 号,IOS 系统根据 OpenUDID 来标识一个独立用户,每部手机一个用户。2、新增用户首次联网使用应用的用户。如果一个用户首次打开某 APP...原创 2020-05-05 10:56:44 · 8700 阅读 · 1 评论 -
电商数仓(dwt 层)
一、dwt 层介绍dws 层统计的是每日数据,dws 层数据服务 dwt 层数据,dwt 层统计的是不同主题的累积数据。二、数据表2.1 设备主题宽表 dwt_uv_topic1、数据来源dwt_uv_topic、dws_uv_detail_daycount。2、建表drop table if exists dwt_uv_topic; create external table d...原创 2020-05-03 14:39:07 · 6807 阅读 · 0 评论 -
电商数仓(dws 层)
一、dws 层介绍统计各个主题对象的当天行为,服务于 DWT 层的主题宽表,以及一些业务明细数据,应对特殊需求(例如,购买行为,统计商品复购率)。二、dws 层用户行为数据2.1 每日设备行为 dws_uv_detail_daycount1、介绍每日设备行为,主要按照设备 id 统计。2、数据来源dwd_start_log3、建表drop table if exists dws...原创 2020-05-03 11:11:56 · 5816 阅读 · 0 评论 -
电商数仓(dwd 层)
一、dwd 层介绍1、对用户行为数据解析。2、对核心数据进行判空过滤。3、对业务数据采用维度模型重新建模,即维度退化。二、dwd 层用户行为数据2.1 用户行为启动表 dwd_start_log1、数据来源ods_start_log -> dwd_start_log2、表的创建drop table if exists dwd_start_log; CREATE EXTER...原创 2020-05-01 22:04:13 · 8016 阅读 · 1 评论 -
电商数仓(ods 层)
一、ods 层介绍1、保持数据原貌不做任何修改,起到备份数据的作用。2、数据采用 LZO 压缩,减少磁盘存储空间。100G 数据可以压缩到 10G 以内。3、创建分区表,防止后续的全表扫描,在企业开发中大量使用分区表。4、创建外部表,在企业开发中,除了自己用的临时表,创建内部表外,绝大多数场景都是创建外部表。二、用户行为数据1、启动日志表 ods_start_log// 创建启动日志...原创 2020-04-30 20:20:03 · 4995 阅读 · 1 评论