oneid与用户标签之间的相互打通 实现用户画像打标行为
附录说明:
打个标签盯住他
实现完整的用户标签需要以完整的oneid生成且oneid定时更新新增用户 才可以实现
整个流程:
所用组件 hive-》es(与hive产生映射的表)
数据处理流程
1、使用数据源数据进行数据清理(整理出关联数据与将要打标的数据值)
ods_tds_ddc_sqoop.crmc01c样例数据
2、将关联键值与oneid对应关联起来 并整理好将要打标值的外部关联格式化
oneid_data.oneid_data_sink_id_mapping数据样式
lable.lable_new_dict标签字典样例数据
3、数据打标形成格式
(oneid label1)
(oneid label2)
(oneid label3)
的格式也可以(oneid label1,label2,label3)均可
–数据插入中间表 处理出每条数据的唯一ID和对应ID身份 以及每个打标职位
insert into lable.dws_oneid_hq_app_lable
select
null AS user_name
,user_id
,null AS user_mobile
,null AS user_birthday
,null AS user_registime
,null AS user_lastlogintime
,null AS user_address
,label_code
,uni
,label_name
,id_mapping
from
(--关联键值用作与字典表对接使用
select
user_id
,uni
,id_mapping
from
(--选出每个id对应的最大数值用于去重
select
user_id
,CONCAT_WS('&&',max(vsex),max(VMARRIGE)) AS valu
,id_mapping
from
(
--数据格式化处理 与对接外部值关联选择
select
case
when length(VMOBILE)=11 then VMOBILE
when length(VLKMOBILE)=11 then VLKMOBILE
when length(VCERTIFICATENO) is not null then VCERTIFICATENO
else null end ss
,case
when vsex="0" then "男"
when vsex