DWS 层:数仓服务(瀆e瀅瀉濼ce/瀆瀈瀀瀀a瀅y)层(轻度聚合)
DWD 层:数仓明细层
ODS 层:操作数据(最原始的数据)层 -- 贴源层
DIM 层: 存储维表
维度表:对维度的详细描述信息;比如,地域维表,产品维表,品类维表,栏目维表,时间
维表;
用户画像的应用:
1.精准营销:运营最熟悉的方式,从粗放式到精细化,将用户群体切割成更细的粒度,辅以短信、推送、邮件、活动等手段,驱以关怀、挽回、激励等策略。
2.数据应用:用户画像是很多数据产品的基础,如推荐系统、广告投放系统。操作过广告投放系统的:广告投放基于一系列人口统计相关标签,性别、年龄、学历、兴趣偏好等
3.用户数据分析:用户画像可以理解为业务层面的数据仓库。各类标签是多维分析的天然要素。数据查询平台会和这些数据打通。
标签分类:
1.事实标签:属于用户行为的直接统计结果,比如月消费金额、月消费次数、最常消费品类。SQL
2.模型标签:基于多个跨领域的事实标签,按照设计好的算法模型综合计算所得。相对于事实标签更抽象的特点:比如:用户消费水平、用户消费能力、用户流失风险
3.决策标签:按照数据分析和市场运营人员的需求:对多个事实标签或者模型标签进行自由条件组合,所生成的组合结果,用于为市场决策提供直接支持:如:待挽回用户群、待发展用户群、待维护用户群。
技术上实现:
1.事实标签(统计标签),在数仓中直接取数,使用sql聚合统计即可。
2.模型标签(算法标签) 使用sparkmllib 中机器学习算法进行计算。
3. 基础计算层,以数仓系统为主
4.高级计算层, 以新开发的spark模型算法程序为主。
用户消费画像事实标签(统计标签)表 例:
字段 | 类型 | 定义 |
user_id | bigint | 用户 |
first_order_time | string | 首单日期 |
last_order_time | string | 末单日期 |
first_order_ago | bigint | 首单距今时间 |
last_order_ago | bigint | 末单距今时间 |
month1_order_cnt | bigint | 近30天购买次数 |
month1_order_amt | double | 近30天购买金额 |
month2_order_cnt | bigint | 近60天购买次数 |
month2_order_amt | double | 近60天购买金额 |
month3_order_cnt | bigint | 近90天购买次数 |
month3_order_amt | double | 近90天购买金额 |
max_order_amt | double | 最大订单金额 |
min_order_amt | double | 最小订单金额 |
total_order_cnt | bigint | 累计消费次数(不含退拒) |
total_order_amt | double | 累计消费金额(不含退拒) |
total_coupon_amt | double | 累计使用代金券金额 |
user_avg_order_amt | double | 平均订单金额(含退拒) |
month3_user_avg_amt | double | 近90天平均订单金额(含退拒) |
common_address | string | 常用收货地址 |
common_paytype | string | 常用支付方式 |
month1_cart_cnt_30 | bigint | 最近30天加购次数 |
month1_cart_goods_cnt_30 | bigint | 最近30天加购商品件数 |
month1_cart_submit_cnt_30 | bigint | 最近30天提交件数 |
month1_cart_submit_rate | double | 最近30天商品提交占比 |
month1_cart_cancel_cnt | bigint | 最近30天取消商品件数 |
dw_date | string | 计算日期 |