数据驱动:指标体系如何助力业务增长

数据驱动指标体系应用实战

编辑整理|马信宏

内容校对|李瑶

那有了指标,为什么需要体系呢?以电商 APP 为例,即使是一个简单的交易环节,也涉及到商家和消费者两方,并在整个过程中产生大量数据和各种维度。面对如此繁杂的数据和业务发展目标,我们需要找到一种方法来帮助他们定位和诊断问题,这就需要构建相应的框架,也就是指标体系。

指标体系通过有层次、有结构的方式,展现了指标之间的关联性和因果关系,使得复杂的问题变得清晰,从而指导业务做出明确的决策。这也正是我们强调“以终为始”的原因。这里的“终”,代表业务需要解决的问题,我们要从业务出发来构建指标体系。换句话说,指标体系的构建方式本身就决定了我们如何进一步帮助业务诊断和迭代的基础。

在上一章节中,我们明确了指标体系的重要性,那么在实际的工作当中,我们如何去进行指标体系的搭建呢?很多时候不仅要业务驱动,还要数据驱动。基本上指标体系的搭建可以分两步走,首先确定一个公司长期的发展目标,也就是我们常说的北极星指标,往往是基于战略驱动的,有了这样的一个核心指标之后,进一步我们会在这个基础上去拆解指标,构建体系。

上述案例向大家介绍了如何运用因果推断方法进行指标挖掘。接下来,我将介绍如何利用机器学习方法挖掘用户偏好维度。

在这个案例中,我们的长期目标是提升用户的留存和活跃度。为了实现这个目标,在内容型 APP 上,我们可以通过算法调优或供给调优,并基于用户分群进行精细化策略调整。然而,面临的一个问题是,人群分组的方式有很多,无论是基于算法调优还是供给调优,选择都很多。而基于基础的人群画像(如年龄、性别、教育程度等)进行分析,我们发现用户的播放偏好非常多样化,很难帮助业务聚焦并进行后续调整。

为了解决这个问题,我们采用了一种新的解决方案:不考虑基础维度,而是直接对用户的长期播放历史进行聚类,以帮助业务创建更有针对性、更有用的业务标签。具体操作过程包括特征选取(如播放时长)、细化描述(用标签描述)、Kmeans 聚类方法以及通过拐轴法和轮廓系数确定簇的个数等。

首先,这种方式确实帮助我们识别出了具有明确消费偏好的用户群体。以喜欢看热点动漫的用户为例,他们的消费集中度非常高,头部消费榜单和整体用户构成的分布都符合业务预期。

在业务应用过程中,例如算法效果提升,我们尝试使用基础属性画像和挖掘出的偏好维度共同进行分析。通过对比,我们发现使用基础属性画像进行算法分析时,很难找到问题,推荐转化在各个人群分组上基本持平,没有特别明显的过高或过低现象。同时,我们发现曝光头部的内容相似度较高。然而,当我们使用消费偏好维度分析时,就能明显地发现问题。例如,少儿偏好用户在推荐转化上表现正常,曝光头部与他们的长期消费偏好相符。然而,对于动漫或新粉综艺用户,整体转化率偏低。进一步观察发现,他们的曝光头部可能与他们的偏好并不匹配。因此,我们向业务部门提出了优化建议。

从这个案例中,我们可以清楚地看到,基于数据挖掘的维度在实际业务应用中往往具有更高的针对性和洞察力。这个案例也是我们在第二部分提到的基于机器学习方法进行指标体系研发的应用。

在介绍了不同方法下的指标体系研发之后,我们将通过一个实战案例,展示如何让指标体系在业务中发挥作用。指标体系的应用可以分为三个步骤:预警、诊断和策略。

预警阶段主要关注指标的异常和异动。识别方法可以基于统计规则或预测模型。统计规则包括常见的 3-sigma 方法和分位数法。预测模型指的是对指标变动的预期,可以使用  xgboost 或时序模型进行预测。判断标准是实际发生的情况与预期之间的差距是否过大,如果过大,可能就是一个问题事件。

诊断阶段主要是归因分析。方法包括指标体系多维度的下拆和gini系数的应用。在论坛的后续环节,老师们会对此进行详细的介绍。

第三部分是策略挖掘,针对第二步中发现的问题,给出业务指导策略建议。常见的策略建议主要分为三类:人群、场景和流量策略。

通过以上三个步骤,我们可以让指标体系在业务中发挥实际作用,为企业带来价值。

下面,我将向大家介绍一个抽象出来的应用案例——播中干预,它是让指标体系全面发挥价值的一个很好的展示。

我们经常会面临这样的业务问题:内容最近播放量下降是什么原因?为什么某个 IP(大剧)上线两周后播放量仍未上升?甚至在季度或月度报告中,老板也会提出这样的问题:这部电视剧看起来无法达到预期的播放规模,背后的原因是什么?有没有进行复盘?

为了解决这些问题,我们会经常进行异常归因复盘分析和问题诊断。然而,这种复盘方式往往发现问题较滞后,错过了 IP 的排播期,导致播放量难以挽回。即使我们发现了问题,短期内也无法提供针对性的提升手段,因此在实践中可能做得有限。

针对这些业务问题,我们提出了一个全链路闭环解决方案。从内容上线开始,我们紧密追踪 IP 的表现,对是否能达到预期进行预警。一旦发现问题,我们会推送诊断结论,并直接提供可落地的策略建议。同时,我们还会打通整个数据回收流程来进行效果复盘。

通过这种前置串联和闭环的方式,让我们的指标体系在实际业务过程中真正发挥价值。

上图是整个链路的整体框架。我们现在正在将这个过程产品化,主要服务于上线运营环节。右上角是对应整个项目背后的指标体系,以播放时长为例,我们主要通过流量分布和用户分群这两个核心维度,采用用户路径拆解的方式来搭建指标体系。

在业务环节中,第一步是项目潜力识别。我们会对核心指标进行预测,判断项目是否能达到预期的表现,并进行风险预警。对于未能达标的内容,我们会进一步进行诊断分析,包括人群表现和资源位表现。同时,根据用户在整体播放过程中的反馈,我们会提供一些关于物料制作和剪裁的洞察。

最后,结合诊断分析中人群和资源位的综合结论,我们会帮助业务部门进行人群触达,直接提升整个 IP 的投放效果。通过这样的方式,我们可以让指标体系在实际业务过程中发挥更大的价值。

潜力识别主要针对内容播放进行相关预测。在实际操作中,我们会按照品类和时序对核心指标进行预测,其实际准确率已经达到了一个较好的水平。在具体的展品呈现中,我们不仅提供预测结果,还会将预测过程中的各个漏斗环节拆解清晰,以便更好地理解整个预测过程。这样,业务部门可以根据这些信息进行相应的决策和调整,以提升内容的播放效果。

在诊断分析阶段,我们会重点从之前提到的几个维度,如人群和资源位,进行相关诊断。

在人群方面,我们关注的重点是那些渗透率较低但转化率较高的人群。我们认为这部分人群可能是后续扩大播放规模的目标人群。而对于那些曝光度高但转化率低的人群,我们可能会将其作为后续进一步排查的对象。

在资源位方面,我们会关注内容在每个页面和模块的表现,帮助业务部门进行进一步的优化。通过这种方式,我们可以更好地发现潜在问题,并为业务部门提供有针对性的优化建议,从而提升内容的播放效果。

结合诊断分析和资源位的最终输出,我们会在后续选定的资源位上创建人群包,进行人群触达。我们希望通过这种方式,帮助运营老师们更精准地通过数据驱动的方式实现目标,从而实现直接通过策略干预来帮助业务达标的最终目标。

这个播中干预项目整体的应用思路是:基于指标体系,在业务的每个环节通过数据驱动的方式及时预警、诊断和策略干预,从而帮助业务实现最终目标。

以上就是本次分享的全部内容。谢谢大家。

分享嘉宾

INTRODUCTION

阮文静

某一线大厂视频APP

资深数据科学家

某一线大厂视频APP资深数据科学家。经济学博士,5年互联网大数据下数据科学经验,专攻因果/实验/模型应用。现在负责核心业务的大数据分析建模。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值