Hive 分层设计及用户画像概述

数据分层
数据仓库的分层和各层级用途_云原生大数据计算服务 MaxCompute-阿里云帮助中心

ADS 层： 应用服务层
DWS 层：数仓服务（瀆e瀅瀉濼ce/瀆瀈瀀瀀a瀅y）层（轻度聚合）
DWD 层：数仓明细层
ODS 层：操作数据（最原始的数据）层 -- 贴源层
DIM 层： 存储维表

ODS 层：对应着外部数据源 ETL 到数仓体系之后的表！

DWD 层：数仓明细层；一般是对 ODS 层的表按主题进行加工和划分；本层中表记录的还是

明细数据；

DWS 层：数仓服务层；

ADS 层：

应用层，主要是一些结果报表

分层的意义：数据管理更明晰 运算复用度更高 需求开发更快捷 便于解耦底层业务（数

据）变化 

分层详解

ODS 层

数据内容：存放 flume 采集过来的原始日志

存储格式：以 json格式文本文件存储

存储周期：3 个月(一般)

DWD 层

数据内容：对 ODS 层数据做 ETL 处理后的扁平化明细数据

存储格式：以 ORC/PARQUET文件格式存储

存储周期：6 个月(一般)

DWS 层

数据内容：根据主题分析需求，从 DWD 中轻度聚合后的数据

存储格式：以 ORC/PARQUET 文件格式存储

存储周期：1 年(一般)

ADS 层

数据内容：根据业务人员需求，从 DWS 计算出来的报表

存储格式：以 ORC/PARQUET 文件格式存储

存储周期：3 年(一般)

DIM 层

存储各种维表
 

事实表：记录事实的表；比如，订单表，注册表，购物车，退货表，浏览日志表
维度表：对维度的详细描述信息；比如，地域维表，产品维表，品类维表，栏目维表，时间
维表；

用户画像

用户画像概述：它和精准营销、精细化运营直接挂钩

用户画像的应用：
1.精准营销：运营最熟悉的方式，从粗放式到精细化，将用户群体切割成更细的粒度，辅以短信、推送、邮件、活动等手段，驱以关怀、挽回、激励等策略。
2.数据应用：用户画像是很多数据产品的基础，如推荐系统、广告投放系统。操作过广告投放系统的：广告投放基于一系列人口统计相关标签，性别、年龄、学历、兴趣偏好等
3.用户数据分析：用户画像可以理解为业务层面的数据仓库。各类标签是多维分析的天然要素。数据查询平台会和这些数据打通。

标签分类：
1.事实标签：属于用户行为的直接统计结果，比如月消费金额、月消费次数、最常消费品类。SQL
2.模型标签：基于多个跨领域的事实标签，按照设计好的算法模型综合计算所得。相对于事实标签更抽象的特点：比如：用户消费水平、用户消费能力、用户流失风险
3.决策标签：按照数据分析和市场运营人员的需求：对多个事实标签或者模型标签进行自由条件组合，所生成的组合结果，用于为市场决策提供直接支持：如：待挽回用户群、待发展用户群、待维护用户群。

技术上实现：
1.事实标签(统计标签)，在数仓中直接取数，使用sql聚合统计即可。
2.模型标签(算法标签) 使用sparkmllib 中机器学习算法进行计算。
3. 基础计算层，以数仓系统为主
4.高级计算层, 以新开发的spark模型算法程序为主。

用户消费画像事实标签（统计标签）表 例：

字段	类型	定义
user_id	bigint	用户
first_order_time	string	首单日期
last_order_time	string	末单日期
first_order_ago	bigint	首单距今时间
last_order_ago	bigint	末单距今时间
month1_order_cnt	bigint	近30天购买次数
month1_order_amt	double	近30天购买金额
month2_order_cnt	bigint	近60天购买次数
month2_order_amt	double	近60天购买金额
month3_order_cnt	bigint	近90天购买次数
month3_order_amt	double	近90天购买金额
max_order_amt	double	最大订单金额
min_order_amt	double	最小订单金额
total_order_cnt	bigint	累计消费次数（不含退拒）
total_order_amt	double	累计消费金额（不含退拒）
total_coupon_amt	double	累计使用代金券金额
user_avg_order_amt	double	平均订单金额（含退拒）
month3_user_avg_amt	double	近90天平均订单金额（含退拒）
common_address	string	常用收货地址
common_paytype	string	常用支付方式
month1_cart_cnt_30	bigint	最近30天加购次数
month1_cart_goods_cnt_30	bigint	最近30天加购商品件数
month1_cart_submit_cnt_30	bigint	最近30天提交件数
month1_cart_submit_rate	double	最近30天商品提交占比
month1_cart_cancel_cnt	bigint	最近30天取消商品件数
dw_date	string	计算日期