数据会说谎

最近做了很多关于产品订阅页的实验，做完实验自然要分析数据，在这个过程中我最大的感触是，数据确实是会说话的。

举一个例子，假设我们做一个强制用户订阅的实验：

A组的用户打开App显示订阅页，无关闭订阅页按钮，不订阅无法继续使用App；

B组的用户打开App后显示订阅页，有关闭订阅页按钮，关闭订阅页后可以继续使用免费功能。

实验上线了一段时间，产生了数据，现在要分析两个实验的效果。我们可以用A组每日新用户的订阅页转化（订阅页购买/订阅页显示）对比B组每日新用户的订阅页转化（订阅页购买/订阅页显示）。

但是，仔细想想，如果用了上面的分析方式，那么你的数据就在说谎了。由于A组用户的订阅页是不可关闭的，所以一部分用户会直接退出App，不再使用，另一部分用户则会被迫选择尝试。相比之下，B组的用户不必面临二选一的抉择，会有一部分用户关闭订阅页继续体验产品，这部分用户在后续的使用中有可能产生转化。而刚刚的数据分析方式，则忽略了这部分用户对结果的影响。

所以，比较科学的分析方式应该是将时间拉长，同一时间段用户，在后续一个较长时间段内AB两组转化的用户数量进行对比。这时候，我们会看到不一样的结果。

再举一个例子，假设我们上线了一个新的设计风格的订阅页，并与老的订阅页进行对比实验。如果我们选择的测试用户是App内的活跃用户，并且新的订阅页转化率更高，于是我们得出新订阅的设计更受用户喜欢的结论，这时候数据有可能又在说谎了。

因为，新的订阅页转化率更高，有可能仅仅是因为是它是更新鲜的，从而触发了一些对老订阅页产生疲劳的老用户的转化，随着时间推移，新订阅优势可能会逐渐缩小。我们也可以拉出新用户在新老订阅页的转化情况，来佐证这个判断。

总而言之，实际业务场景中，数据总是错综复杂，产品经理们要警惕被数据所骗。

本文首发于公众号「原住民的自修室」，记录一名产品经理的思考和生活，欢迎关注