商品推荐算法优化过程中的思考与总结（持续更新）

记录一下相关思考。出于隐私保护需要，文中不会涉及到具体信息。

 

实验习惯

每次实验后记得把改动记录下来，便于之后复盘。

 

验证方式

感受到了工业界和学术界做实验的一个不同就是，做学术拿数据集跑一下，只要出了结果效果好就可以开始写论文了。工作中在业务线上面验证一个模型是否有用，往往需要经历一个时间段才有比较准确的结论，因为会受到产品周期，活动投放等因素的影响，需要一个时间段来平滑这些因素的影响。此外科学的A/B test以及对比方式也是得到客观结论的保证，比如理解相对指标和绝对指标之间的差异，如何通过科学的分桶来消除其他业务，活动投放，消费层次分布不均对效果验证的影响。然后就是需要形成一些数据分析的直觉去规避直线思维中的一些陷阱，比如我在数据分析一栏提到的【辛普森悖论】就是一个很好的例子。

1. 足够的流量是得到正确结论的前提，如何判断流量是否足够？可以设置两个一模一样的分组空跑一段时间，观察这两个分组的指标差异，在合理区间内则可以在这个基础上进行试验。如果差异较大则可以认为流量分配不够，此时需要通过统计学手段比如显著性校验来得到相对可靠的结论。

2. 受客观因素限制，流量限制比较大无法保证不同分组用户分布保持一致，然后再加上平时大大小小的活动会导致ARPU值不断波动，如何评估模型效果？这种情况可以考虑利用相对指标来进行评估。举个例子，设时间区间 [x，y(模型上线)，z]，那么就用（y-z时间段arpu值）/ （x-y时间段arpu值）代表相对提升，不同分组之间对比该指标在一定程度上消除用户分布不一致和活动导致的偏差。

3. 部分场景中用户反馈具有一定延迟或者受到其他因素影响，改动一个模型后效果不会马上显示出来，所以不要因为上线1，2天没有效果就替换掉（区别于写论文跑实验），留多一点时间评估会更加科学。

 

模型选择

体会比较深的一点，就是需要弄清楚模型的特性以及适用场景。和一些朋友讨论过，像现在比较流行的基于向量语义的深度模型比如DSSM，DeepFM，DIN等线下效果通常会比树模型要好，但是游戏推荐业务中线上效果不一定会好。个人感觉首先是游戏场景的数据复杂度有限，GDBT系列分类器在连续数值特征上已经可以达到较好的性能，深度模型则更适用于稀疏离散特征较多的场景，另外游戏道具数量有限，不像广告推荐，商品推荐有海量侯选池，向量检索的作用空间有限，不过在某些海量游戏道具检索的业务中深度模型也确实取得了不错的效果。

 

业务指标和优化指标之间的gap

一般来说，商品推荐算法如果推送的是消费者喜欢的，能拉动消费者消费那么就被认为是有效的，这种情况下，优化指标设定为精确率，召回率，auc，top-n命中，消费额等指标就和业务指标关联比较大，优化起来也是比较直接的一个导向。但是在实际业务中可能面临着不同场景之间的相互影响，常见的有消费转移，消费透支等问题。举个栗子，消费者会在场景a和场景b购物，而你负责场景a这一块的优化，消费者在a场景消费了很多，但也可能会影响到在场景b的消费意愿，但是业务指标是需要提升整体消费额，所以你a场景推荐做的再好也不意味着业务指标的直接提升。这时候要优化的目标不仅包括a场景的各项指标，同时也得考虑对其他场景的影响，对于这种问题就比较灵活了，最直接的思路就是自行设计一个和业务指标更加相关的优化指标，或者是结合业务经验去对推荐结果进行一些后处理，目前正在调研和尝试一些系统化的解决方案。

 

系统视角

1. 注意不同的场景中用户付费习惯差异性。比如生活用品购买场景，用户的购买行为通常基于比较明确的购物意愿，而游戏场景中，用户购买行为随机性更大，受情绪因素影响也更大。这就决定了推不推之间的巨大差异，比如用户缺少生活用品时即使你不推送自己也会去主动搜索购买，但是如果用户在游戏中产生消费情绪点时没有及时捕捉到并推送，那么用户可能就不会发生消费行为。

2. 要优化的指标是整体营收，但是手上的业务流量有限（比如10%），如何最大化这10%流量的作用乃至撬动更大的收益？ 大致思路是 1.首先优化手上的业务，这一步可能会存在付费转移和付费透支的可能性。2.去掉对整体营收有影响的推荐（减小步骤1中付费转移和付费透支的负面影响）。3.探索手上业务可以带动其他业务营收的可能性（比如用户购买A业务中的商品后还会购买B业务中的商品，或者是增加了留存率等等）。其中步骤1，2的核心思路就是创造增量，理想情况下业务指标的增长不损害到现有其他业务（实际做起来需要一步步去实验），补充一个和“”创造增量“思路比较接近的模型：《uplift model》。

3. 用户心态&长期收益。拿游戏场景中的道具推荐举例，想短期内立竿见影地提高转化率，代币回收，最简单的做法就是让用户感受到优惠（打折，返利等），但是如果缺乏合适的包装机制可能会导致舆论风险，还可能会导致用户对于物品的价值定位下降乃至影响到对其他物品的相对价值定位，此外还有可能改变用户的付费习惯（比如活动期大幅度让利可能会减少用户平时的消费行为，这样是否合适需要具体场景具体分析），整体上来看可能对总营收产生负面影响。

4. 做好一个流量入口其实和现实世界中打造一个品牌有共同之处，优化的时候入口收益和用户体验都需要考虑在内，业界部分案例只关注挖消费坑而忽视了用户的体验，在短时间内可能会有较大收益，但是从长远来看如果入口口碑崩坏其实损失更大。

 

持续更新ing