用户画像洞察分类模型 - 前端页面展示



提示:以下是本篇文章正文内容,下面案例可供参考

一、前端与数据智能

过去20年,随着互联网行业的兴起,互联网公司积累了大量的数据,数据智能也随之迅猛发展,从互联网到蔓延到各行各业。
根据 Statista 的数据统计, 2020 年, 全球大数据储量约为 47 ZB。
而随着 5G 的普及,元宇宙等新技术的发展,物联网等技术的普惠,可以预期全球的大数据规模仍将不断增长,数据智能也将随之渗入各领域不断改变我们生活和工作。
在这里插入图片描述

数据智能在电商场景下的应用已经有很多,商品推荐、智能客服、广告投放、智能物流等等,前端开发者在日常的业务迭代中也会涉及数据埋点、ABTest、观查数据指标等与数据智能相关的工作。
在这里插入图片描述


二、 体验优化需求场景

在前端场景下,我们更关注的是用户交互体验,通过数据智能的应用,我们可以更精准地了解用户对
UI、功能、交互逻辑的需求,从而给用户提供更好的体验。举例来说

跳失预测

  • 在业务场景中,我们希望能采取一定的策略对即将要跳失的用户进行挽留,提高频道对用户的吸引力

交互偏好

  • 我们希望探索一个频道内的用户对频道 UI 功能的偏好情况,对不同偏好的用户,采用不同的承接策略,提升用户体验

智能 UI

  • 根据用户对不同内容展现形式的喜好,在端侧动态组织内容流,提高内容流的消费者体验

三、 关键技术

我们可以通过一些前端数据采集技术,构建用户数据生态,并以此搭建机器学习模型,下面列举一些关键技术:

鲸幂 UICook(智能UI)

在这里插入图片描述
鲸幂UI借助 AI 提供界面千人千面的解决方案,在有限的空间中为用户展示他最关心的内容,为业务带来更多的增长可能。

DataCook

在这里插入图片描述
DataCook 提供了前端生态下的数据科学和机器学习工具库,可进行离线数据分析和模型训练,也可进行终端部署和推理,帮助搭建更为个性化的应用。

PipCook

在这里插入图片描述

PipCook 提供了可视化的数据分析和机器学习工作流解决方案,帮助用户快速接入数据,训练和评估模型,以及建立可视化的数据应用。

Pipeline

除了以上工具,我们得搭建一个完整Pipeline

在这里插入图片描述


四、 体验优化实践

数据智能实践的一般流程

Alt

数据采集

  • 基础信息:消费者年龄性别等demographic信息
  • 行为数据:消费者在使用产品时的行为数据,如浏览、点击、页面跳转等埋点数据
  • 业务数据:领券、下单、支付等关键业务结果数据

数据分析 -如何对数据进行分析处理并得出结论

  • 数据统计,如GMV、UV、PV、MAU、DAU等指标数据
  • 数据可视化
  • 特征降维分析,跟踪趋势变化、数据探查
  • 聚类/分类/回归建模,挖掘数据内在规律,产出模型

数据应用 - 分析结论如何落地(A/B test)

1.随机分桶
对人群进行随机分桶,保证测试时间段内分桶用户的一致性

2.分桶验证
对分桶人群进行验证,确认 A / B 分桶内用户的数据指标是接近的

3.实验投放
将需要比较的策略分别投放到 A / B 分桶

4.数据收集监控
收集实验期间内 A / B 分桶的数据指标。

5.分析测试数据,得出测试结论
通过数据指标的对比分析,比较策略是否符合预期,并决定是否上线。

数据应用 - 分析结论如何落地(A/B test)

1.随机分桶
对人群进行随机分桶,保证测试时间段内分桶用户的一致性

2.分桶验证
对分桶人群进行验证,确认 A / B 分桶内用户的数据指标是接近的

3.实验投放
将需要比较的策略分别投放到 A / B 分桶

4.数据收集监控
收集实验期间内 A / B 分桶的数据指标。

5.分析测试数据,得出测试结论
通过数据指标的对比分析,比较策略是否符合预期,并决定是否上线。

交互偏好分析实践-问题定义

在这里插入图片描述
消费者进入频道后,对频道内容的访问是否有一定的偏好或者规律?如果答案是肯定的,那么我们就可以根据每个消费者的访问模式实现更个性化的交互设计,提高用户满意度,优化消费者用户体验。

我们把每个用户一次页面访问(PV)作为一次用户行为。也就是说,单次用户行为是由用户访问一次页面,在这期间和页面的交互构成的。

从频道的结构来看,消费者主要的交互形式是点击和滑动,而滑动和商品/功能模块的曝光是强相关的,所以我们将行为特征定义为频道内的不同功能模块的点击和曝光次数。

交互偏好分析实践-数据分析-模型选择

在这里插入图片描述
在采集了3天数据后,我们开始进行数据分析。由于数据量大,数据标签(偏好类型)的未知性,并不适合人工打标分类,因此我们选择了DataCook 提供的 k-means 模型,通过聚类的方式分析特征数据。

k-means 是一种基于欧式距离的聚类算法,比较容易理解,因此模型的可解释性较强,另外,它在训练和预测时对性能的开销也比较小,适合在端上实时预测。它的缺点是需要人为设置聚类数量,且中心点的选取对聚类结果影响比较大。
在这里插入图片描述
由于 k-means 的是基于欧式距离的数据划分算法,均值和方差大的特征将聚类结果产生决定性影响,如果我们直接把特征数据原始值进行聚类,那么由于商品流模块整体的点击和浏览数量往往会远大于其他模块,导致聚类结果出现偏差。因此我们在聚类前先要对数据进行归一化处理,让所有特征值保持在相同的数值范围内。然后通过肘图确定可选的 K 值范围。在我们的场景中,选择了 8,9,10 分别进行聚类。

交互偏好分析实践-数据分析- 不同 k 值的聚类结果

在这里插入图片描述

交互偏好分析实践-数据分析

在这里插入图片描述
我们分别对3个模型的聚类数据进行了采样分析,确保聚类结果的正确性,同时,以离线的方式对之后的数据进行预测验证,结果稳定,符合预期。

在这里插入图片描述
在验证了点击和浏览与行为分类之间的关系之后,我们得到了一个帮助我们进行 PV 分类的模型。

在这里插入图片描述
接着我们继续收集了 30 天的行为数据,再用行为分类模型对这些数据进行分类。

在这里插入图片描述

得到偏好概率表之后,我们对这部分数据进行跟踪比对,验证其偏好概率的稳定性。

交互偏好分析实践-数据应用

落地方式云-端结合
在这里插入图片描述

承接策略

  • 微动效
  • 页面预加载

实验策略

  • 确定指标
  • A/B测试
  • 分析测试结果
用户画像作为大数据的根基,它抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供了足够的数据基础,奠定了大数据时代的基石。 用户画像,即用户信息标签化,就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后,抽象出一个用户的商业全貌作是企业应用大数据技术的基本方式。用户画像为企业提供了足够的信息基础,能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。 用户画像系统能很好地帮助企业分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满意度。构建一个用户画像,包括数据源端数据收集、数据预处理、行为建模、构建用户画像。有些标签是可以直接获取到的,有些标签需要通过数据挖掘分析到!本套课程会带着你一步一步的实现用户画像案例,掌握了本套课程内容,可以让你感受到Flink+ClickHouse技术架构的强大和大数据应用的广泛性。 在这个数据爆发的时代,像大型电商的数据量达到百亿级别,我们往往无法对海量的明细数据做进一步层次的预聚合,大量的业务数据都是好几亿数据关联,并且我们需要聚合结果能在秒级返回。 包括我们的画像数据,也是有这方便的需求,那怎么才能达到秒级返回呢?ClickHouse正好满足我们的需求,它是非常的强大的。 本课程采用Flink+ClickHouse技术架构实现我们的画像系统,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助,如对我录制的教程内容有建议请及时交流。项目中采用到的算法包含Logistic Regression、Kmeans、TF-IDF等,Flink暂时支持的算法比较少,对于以上算法,本课程将带大家用Flink实现,并且结合真实场景,学完即用。系统包含所有终端的数据(移动端、PC端、小程序端),支持亿级数据量的分析和查询,并且是实时和近实时的对用户进行画像计算。本课程包含的画像指标包含:概况趋势,基础属性,行为特征,兴趣爱好,风险特征,消费特征,营销敏感度,用户标签信息,用户群里,商品关键字等几大指标模块,每个指标都会带大家实现。课程所涵盖的知识点包括:开发工具为:IDEA FlinkClickhouseHadoopHbaseKafkaCanalbinlogSpringBootSpringCloudHDFSVue.jsNode.jsElemntUIEcharts等等 课程亮点: 1.企业级实战、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.提供原始日志数据进行效果检测 4.Flink join企业级实战演练 5.第四代计算引擎Flink+ClickHouse技术架构6.微服务架构技术SpringBoot+SpringCloud技术架构7.算法处理包含Logistic Regression、Kmeans、TF-IDF等8.数据库实时同步落地方案实操9.统计终端的数据(移动端、PC端、小程序端) 10.支撑亿级海量数据的用户画像平台11.实时和近实时的对用户进行画像计算12.后端+大数据技术栈+前端可视化13.提供技术落地指导支持 14.课程凝聚讲师多年实战经验,经验直接复制15.掌握全部内容能独立进行大数据用户平台的设计和实操企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.Wiggles

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值