用户画像标签系统

1.背景

      用户画像系统本质是提取业务数据,经过加工清洗转化为用户标签。

      1. 在用户运营中,可以根据用户具有哪些标签进行 精细化运营;

      2. 做业务风控。比如:黑名单,购买限制等等

2. 目标

       2.1 大量业务数据高效清洗为用户标签数据能力

       2.2  快速开发新标签的能力

       2.3 快速筛选出多种维度标签能力

3. 落地方案

      3.1 技术选型:php+golang+mysql+mongodb+elastisearch + kafka

      3.2 系统功能模块

              标签定义,标签清洗规则定义,标签人群,画像报表

      3.3 数据清洗架构

             ETL 三层架构: 数据抽取(E),数据清洗(T),数据加载(L) 各层之间通过kafa数据通信

             数据抽取层:定时任务,查询获取后台定义的标签清洗规则,从业务库中抽取 -标准化字段规范的数据,生产到kafka队列

                                   标准化数据规范: openid, tag_code,tag_value,biz_date,data_from,clearfunc

              数据清洗层: 消费数据抽取层kafka数据,根据clearfunc 函数清理数据,得到最终的标准标签数据,生产到kafka。

              数据加载: 消费数据清理层的kafka数据,保存到mongodb做持久化存储,同步到elastisearch提供标签查询功能

 

       3.4 数据清理架构流程图,如下:

             

用户画像架构图

                  

 

 

 

 

 

 

   

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值