搭建起一套用户画像系统整体上来说,需要考虑清楚8个系统模块如何设计及实现。这8个模块覆盖数据结构设计、指标体系、数据开发、产品化、画像应用场景等多个方面。
1. 用户画像基础:需要了解、明确用户画像是什么,包含哪些模块,数据仓库架构什么样子、开发流程、表结构设计、ETL设计等方面。这些都是框架、大方向的规划,方向明确了后续才能做好项目的排期和人员投入预算。这对于评估每个开发阶段重要指标和关键产出非常重要。
2. 数据指标体系:根据业务线梳理包括用户属性、用户行为、用户消费、风险控制等维度的指标体系。不同的公司、不同的业务场景会设计不同的数据指标体系,但结合业务体系化设计指标的思路是可以借鉴的。
3. 标签数据存储:标签相关数据可存储在Hive、MySQL、HBase、Elasticsearch等数据库中,不同存储方式有不同的应用场景。如Hive存储的是海量用户明细、行为日志,跑批计算的结果;MySQL存储的是调度监控、元数据等;Elasticsearch存储的是即时分析查询的主题数据。这些不同的数据存储工具是如何存储画像相关数据的在书中都有详细的介绍。
4. 标签数据开发:是用户画像工程化的重点模块,包含统计类、规则类、挖掘类、流式计算类标签的开发,以及人群计算功能的开发,打通画像数据和各业务系统之间的通路,提供接口服务等开发内容;
5. 开发性能调优:标签加工、人群计算等脚本上线调度后,为了缩短调度时间,保障数据稳定性等目的,需要对开发的脚本进行迭代重构,调优;
6. 作业流程调度:标签加工、人群计算、同步数据到业务系统、数据监控预警等脚本开发完成后,需要调度工具把整套流程调度起来。本书讲解Airflow这款开源ETL工具在调度画像相关任务脚本上的应用;
7. 画像产品化:为了能将用户数据更好地服务到业务方,需要以产品化的形态应用在业务上。产品化的模块主要包括标签视图、用户标签查询、用户分群、透视分析等;
8.用户画像应用:画像的应用场景包括用户特征分析、短信、邮件、站内信、消息推送消息的精准推送、客服针对用户的不同话术、针对高价值用户的实时营销、vip服务等方面应用
更多关于用户画像开发、分析和应用方案的内容详见 https://item.jd.com/12824930.html