目录
一个 AI 产品构建的整个流程是从产品定义,到技术预研、数据准备、模型构建,再到模型验收和工程开发上线。其中,有三个节点是我们需要重要关注的,因为这三个节点和互联 网产品开发流程完全不同,它们分别是产品定义、数据准备和模型构建。
这里通过一个预测用户流失的项目,让我们了解一个 AI 产品从筹备到上线的全流程。流程图如下
业务背景
电商平台,每个月老用户流失的数量已经远高于新用 户的拉新数量,为了防止缺口越来越大,我们决定对可能流失的用户做提前预警,同时采取一些措施来挽留这些用户,实现这个目标的前提就是要开发一套用于预测流失用户的产品。
产品定义
即定义产品需求,明确做这件事情的背景、 价值、以及预期目标都是什么。
我们会和业务方共同沟通来决定业务预期目标以及期望什么时候上线。这里的业务方可能是运营同学,也可能是商务同学 ,主要取决于 ToC 还是 ToB 的产品经理。
在预测用户流失的项目中,业务方就是运营,我们的期望是通过算法找出高流失可能性的人群,对这些人进行定向发券召回。这个项目的最终目标是,通过对高流失可能性的人群进行干预,让他们和没被干预过的人群相比,流失率降低 5%。 同时,由于我们运营计划是按月为节奏的,所以这个模型可以定义为离线模型,按月更新,每月月初预测一批流失人群。并且,我还期望这个模型的覆盖率能够达到 100%,让它可以对我们业务线所有用户进行预测。这些就是我们对模型的更新周期、离线 / 实时模式、覆盖率等相关要求了,我们需要把它们都记录到一份需求文档中。
技术预研
需求确定之后,产品经理需要和算法同学进行沟通,请算法同学对需求进行预判。具体来 说,就是要判断目前积累的数据和沉淀的算法,是否可以达到我们的业务需求。
在这个环节中,我们可能还需要根据算法的预估,对需求的内容进行调整。比如,我 们原定覆盖率为 100%,但是和算法同学沟通后发现,有部分刚刚注册的新用户是没有任 何数据的。对于这部分人,算法无法正常打分,而且新用户也不在流失用户干预范围内, 所以,我们后面会根据目前新老用户比例得到新的覆盖率指标,再把它放到需求中去。
数据准备
我们需要根据模型预研的结果以及公司的实际情况,帮助算法同学准备数据。产品经理基于对业务的理解,能判断哪些数据集更具备代表性。
比如说,我们在过去的用户调研中发现,用户一旦有过客诉并且没有解决,那么大概率会 流失。如果出现了客诉,用户问题得到了很好地解决,反而可能成为高粘性的客户。这时 候,我们就会把客诉数据提供给算法同学,请他们去申请数据表权限,评估数据是否可 用。反之,如果我们没有把这些信息同步给算法同学,那么很可能我们就缺失了一个重要的特征。
数据可以分为三类,分别是内部业务数据、跨部门集团内数据以及外部采购的数据。
模型的构建、宣讲及验收
具体内容下一讲会介绍。
模型构建完成之后,你需要组织算法同学对模型进行宣讲,让他们为你讲明白这个产品选 择的算法是什么,为什么选择这个算法,都使用了哪些特征,模型的建模样本、测试样本 都是什么,以及这个模型的测试结果是怎么样的。
在模型宣讲之后,你还需要对模型进行评估验收,从产品经理的角度去评判模型是否满足 上线的标准。
工程开发及产品上线运营
在实际工作中,工程开发工作通常会和算法模型构建同步进行。毕竟,算法同学和工程同学分属两个团队,只要模型的输入输出确定之后,双方约定好 API 就满足了工程同学开发的条件了。
开发完成之后,就进行工程测试验收。当测试同学测试通过之后,产品经理验收。
在工程上线之后,为了评估 AI 产品整体的效果,我们可以通过对上线后的系统做 AB 测试对比传统方案,进而量化 AI 产品的效果提升。这时候,我们需要关注在产品定义 阶段对于产品的指标和目标期望。
相比于一般的互联网产品经理,AI 产品经理在产品上线之后,还需要持续观测数据的表现 (模型效果)。因为 AI 模型效果表现会随着时间而缓慢衰减,你需要去监控模型表现,出 现衰减后需要分析发生衰减的原因,判断是否需要模型进行迭代。