概述:在业务常见的新功能测试中转化率是最常见的评价指标,然而当同一顾客可能多次触发测试流程的时候,一定注意后续转化(下单/订阅/注册/etc.)结果需要精准匹配到多次流程中的唯一一个,以防出现重复计算转化率的情况。同时流程确立后与相关负责同事达成共识也非常重要。
图例如下,测试的业务为如顾客打开购买页面但未购买,则一天后短信提醒顾客“您所浏览的XX商品即将售罄,欲购从速”。每次触发互相独立,分析时计算短信后续七天转化。
对于测试组而言,势必会出现下图所示的一次转化可以被计算进多个统计周期的情况。
此时作为数据分析师,我们需要:
- 重新思考每一次触发是否可以独立考虑。如短信内容为“您所浏览的{X}商品仅剩{n}件”(n逐渐减少)则多次短信间不能独立考虑,需作为一个整体计算综合转化,那将是完全不同的另一个分析,可以不用往下看了。然而如短信类似上文所述“即将售罄”则某种程度上可以独立考量。
- 确立逻辑:同一顾客,多次触发情况下应将转化匹配到哪次触发下。一般是有效统计周期内的第一次或最后一次触发。我目前接触的业务中一般归纳至第一次。这个逻辑没有一定之规,只要从业务角度能自圆其说即可。
- 制作初版数据,分析后联系相关直接负责人(业务提出方、直线经理等)小范围进行讨论。一方面需要让业务方同意我们的统计口径,另一方面让大家对结果达成初步共识。这一步主要是防止花了时间精力分析,发给老板后业务跳出来说这种算法我们不认可,因为balabala……实际情况永远比眼前的数据复杂,所以务必在公布分析之前和直接负责人(小弟们)先达成共识。
- 制作更严谨的分析并公布。转化率逻辑的确立只是业务测试分析中的一个环节,为了制作一份数据翔实、论证严密、改进建议合理的分析我们还需要很多努力,具体内容日后慢慢补充。
最后,以上内容仅是我个人在业务分析过程中产生的思考和总结,不具有普适性,请批判性地阅读。另外欢迎在评论里留下您的看法,非常乐意听到不同的声音。谢谢!