【数据挖掘、数据分析】之用户画像平台构建与业务实践

青花锁

已于 2023-11-20 19:27:37 修改

阅读量1.5w

点赞数 112

分类专栏：送书活动文章标签：用户画像大数据推荐系统标签平台 clickhouse 数据挖掘

于 2023-09-25 09:30:14 首次发布

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/s445320/article/details/133265834

版权

送书活动专栏收录该内容

16 篇文章 12 订阅

订阅专栏

系列文章目录

送书第一期《用户画像：平台构建与业务实践》

文章目录

系列文章目录
前言
一、内容简介
二、目录
三、本书摘要简介
总结
中奖公布

前言

在大数据时代，如何有效地挖掘数据价值并通过画像数据进行呈现，如何基于画像数据构建平台功能并提高业务产出，是值得各类公司和业务人员思考并付诸实践的事情。

通过画像释放大数据价值。大数据时代不缺少数据，而是缺乏挖掘数据价值的系统性方法，希望借助本书提高读者对画像的认识，引导各公司和业务人员从画像的角度更加充分地利用大数据资源并释放更多的数据价值。

介绍清楚画像平台是什么。通过本书将画像平台的构建过程以及赋能业务的方式讲清楚，帮助读者全面且深入地了解画像平台。参考书中内容，读者在构建画像平台和使用画像数据的过程中会更加有的放矢。

有幸参与过头部电商平台的建设，在推荐系统、用户画像方面都有添砖加瓦，在此分享一个案例给大家。大家平时都会上互联网购物，无非是京东、淘宝、拼多多系列，经常会发现买过或搜索过的商品，在三家平台上都会推荐类似的商品。

这里就涉及到推荐系统中的用户画像问题，这几家平台都有共同的广告联盟，用户画像（以手机号绑定）信息会实时共享，我们在淘宝上看家电家具商品，这时用户画像会标记到家电家具类目，且是权重最高的一类，此时用户画像信息就会实时同步更新。我们去逛京东、拼多多时，给我们推荐的商品信息就是以最新的用户画像计算出来的，也会给我们推荐家电家具类目商品。

在此推荐一下《用户画像：平台构建与业务实践》这本书，全书从功能模块、技术实现、平台构建、业务应用4个层次由浅入深地讲解用户画像，里面有标签系统、OLAP、分群、画像分析都有详细介绍。
在这里插入图片描述

一、内容简介

这是一本从功能模块、技术实现、平台构建、业务应用4个层次由浅入深地讲解用户画像的著作。作者在某头部互联网公司经历了其用户画像平台从0到1并发展为画像中台的全过程，打下了扎实的技术功底，积累了丰富的业务经验，本书从技术和业务双重维度对整个过程进行了复盘。

具体来讲，本书主要包含如下内容：
（1）画像的作用、业界主流的4种商用画像平台的核心功能和实现逻辑；
（2）画像平台的主要功能、画像平台的技术架构与技术选型、画像平台的数据模型；
（3）画像平台4大功能模块：标签管理、标签服务、分群功能、画像分析的实现方案；
（4）从0到1搭建用户画像平台，包括环境搭建和前、后端工程框架搭建；
（5）画像平台在用户的不同生命周期阶段和各种业务场景中如何为业务赋能；
（6）画像平台的优化和最佳实践。

在这里插入图片描述

书中有200+设计图和原型图，可以帮助读者更加直观地了解平台的实现原理及功能形态。20+真实应用案例，技术方案和案例均来自真实的项目。本书提供可运行的代码，能帮助读者快速搭建并部署用户画像平台。

二、目录

(目录思维导图，下载后放大更清晰)
在这里插入图片描述

前　言
第1章　了解画像平台 1
1.1　画像基本概念 1
1.1.1　什么是画像 1
1.1.2　画像的重要性 2
1.1.3　画像平台定位 3
1.2　OLAP介绍 3
1.2.1　OLAP与OLTP对比 3
1.2.2　OLAP场景关键特征 4
1.2.3　OLAP的3种建模类型 5
1.2.4　OLAP相关技术发展历程 5
1.3　业界画像平台介绍 6
1.3.1　神策数据 7
1.3.2　火山引擎增长分析 10
1.3.3　GrowingIO 13
1.3.4　阿里云智能用户增长 16
1.4　画像平台涉及的岗位 18
1.4.1　数据工程师 18
1.4.2　算法工程师 18
1.4.3　研发工程师 18
1.4.4　产品经理 19
1.4.5　运营人员 19
1.5　本章小结 19
第2章　画像平台功能与架构 20
2.1　画像平台主要功能 20
2.1.1　标签管理 20
2.1.2　标签服务 24
2.1.3　分群功能 25
2.1.4　画像分析 28
2.2　画像平台技术架构 32
2.2.1　画像平台常见的技术架构 32
2.2.2　画像平台技术选型示例 33
2.2.3　业界画像功能技术选型 35
2.3　画像平台的3种数据模型 36
2.4　本章小结 38
第3章　标签管理 40
3.1　标签管理整体架构 40
3.2　标签分类 43
3.2.1　标签实体及ID类型 43
3.2.2　标签分类方式 44
3.3　标签管理功能实现 48
3.3.1　标签存储 48
3.3.2　标签生产 55
3.3.3　标签数据监控 67
3.3.4　工程实现 69
3.4　岗位分工介绍 70
3.5　本章小结 72
第4章　标签服务 73
4.1　标签服务整体架构 73
4.2　标签查询服务 74
4.2.1　标签查询服务介绍 74
4.2.2　标签数据灌入缓存 76
4.2.3　标签数据结构 79
4.2.4　标签数据处理 81
4.2.5　工程实现 83
4.3　标签元数据查询服务 85
4.3.1　标签元数据查询服务介绍 85
4.3.2　工程实现 87
4.4　标签实时预测服务 89
4.4.1　标签实时预测服务介绍 89
4.4.2　工程实现 90
4.5　ID-Mapping 93
4.6　岗位分工介绍 97
4.7　本章小结 98
第5章　分群功能 99
5.1　分群功能整体架构 99
5.2　基础数据准备 101
5.2.1　画像宽表 101
5.2.2　画像BitMap 108
5.3　人群创建方式 111
5.3.1　规则圈选 112
5.3.2　导入人群 119
5.3.3　组合人群 121
5.3.4　行为明细 123
5.3.5　人群Lookalike 125
5.3.6　挖掘人群 126
5.3.7　LBS人群 127
5.3.8　其他人群圈选 128
5.3.9　工程实现 131
5.4　人群数据对外输出 137
5.5　人群附加功能 138
5.5.1　人群预估 138
5.5.2　人群拆分 140
5.5.3　人群自动更新 141
5.5.4　人群下载 142
5.5.5　ID转换 143
5.6　人群判存服务 144
5.6.1　Redis方案 144
5.6.2　BitMap方案 147
5.6.3　基于规则的判存 149
5.7　岗位分工介绍 150
5.8　本章小结 152
第6章　画像分析 153
6.1　画像分析整体架构 153
6.2　人群画像分析 155
6.2.1　人群分布分析 155
6.2.2　人群指标分析 156
6.2.3　人群下钻分析 157
6.2.4　人群交叉分析 158
6.2.5　人群对比分析 158
6.2.6　工程实现 159
6.3　人群即席分析 165
6.3.1　分布分析与指标分析 166
6.3.2　下钻分析与交叉分析 167
6.3.3　人群画像预览 168
6.4　行为明细分析 169
6.4.1　明细统计 171
6.4.2　用户分析 173
6.4.3　流程转化 176
6.4.4　价值分析 179
6.4.5　工程实现 181
6.5　单用户分析 183
6.5.1　用户画像查询 184
6.5.2　用户关系数据分析 185
6.5.3　用户涨掉粉分析 190
6.5.4　用户内容流量分析 192
6.6　其他常见分析 193
6.6.1　业务分析看板 193
6.6.2　地域分析 195
6.6.3　人群投放分析 197
6.7　岗位分工介绍 199
6.8　本章小结 200
第7章　从0到1构建画像平台 201
7.1　基础准备 201
7.1.1　技术组件协作关系 201
7.1.2　基础环境准备 203
7.2　大数据环境搭建 206
7.2.1　Hadoop 207
7.2.2　Spark 210
7.2.3　Hive 212
7.2.4　ZooKeeper 215
7.2.5　DolphinScheduler 216
7.2.6　Flink 217
7.3　存储引擎安装 219
7.3.1　ClickHouse 219
7.3.2　Redis 221
7.3.3　MySQL 222
7.4　工程框架搭建 223
7.4.1　服务端工程搭建 223
7.4.2　前端工程搭建 237
7.5　运行开源代码 238
7.6　本章小结 240
第8章　画像平台应用与业务实践 241
8.1　画像平台常见应用案例 241
8.1.1　标签管理应用案例 241
8.1.2　标签服务应用案例 244
8.1.3　分群功能应用案例 245
8.1.4　画像分析应用案例 247
8.2　用户生命周期中画像的使用 248
8.2.1　用户生命周期的划分方式 249
8.2.2　引入期画像的使用 250
8.2.3　成长期画像的使用 251
8.2.4　成熟期画像的使用 252
8.2.5　休眠期画像的使用 253
8.2.6　流失期画像的使用 254
8.3　画像平台业务实践 255
8.3.1　用户增长 255
8.3.2　用户运营 259
8.3.3　电商卖货 263
8.3.4　内容推荐 266
8.3.5　风险控制 268
8.3.6　其他业务 271
8.4　本章小结 273
第9章　画像平台优化总结 274
9.1　任务模式 274
9.1.1　任务定义及执行模式 276
9.1.2　任务优先级及并发控制 277
9.1.3　父子任务拆分 277
9.1.4　任务异常检测与重试 278
9.1.5　便捷的横向拓展能力 279
9.2　人群创建优化进阶 279
9.2.1　人群圈选需求 279
9.2.2　简单直接的解决思路 280
9.2.3　将ClickHouse作为缓存 281
9.2.4　SQL优化 283
9.3　BitMap在画像平台中的
使用方案 286
9.3.1　BitMap基本原理 286
9.3.2　BitMap在人群圈选中的
使用方案 287
9.3.3　BitMap在分布分析中的
使用方案 289
9.3.4　BitMap在判存服务中的
使用方案 291
9.4　画像宽表生成优化 292
9.4.1　多表左连接 293
9.4.2　分组再合并 294
9.4.3　增加数据加载层 296
9.4.4　采用Bucket Join 297
9.5　ID编码映射方案 299
9.6　如何构建一个类似神策的平台 301
9.6.1　神策产品介绍 301
9.6.2　主要技术模块 302
9.7　平台技术优化思考 305
9.8　本章小结 307