YouTube转向Amazon的推荐算法

Greg Linden，亚马逊早期推荐系统的主要贡献者，在最近的博文《YouTube uses Amazon’s recommendation algorithm》中讨论了YouTube在RecSys 2010上的一篇论文，因为该文报告，目前YouTube的推荐算法主要采用Item-based方法和Ranking方法。

YouTube在WWW 2008上曾经报告过他们使用Random Walk方法解决视频推荐问题的研究结果。我不是很适应这篇文章的表述方式，虽然自问对Random Walk方法多少还是有点了解，但一直没弄清楚他们的方法在变化万千的图方法中到底该归于哪一类，所以没法做什么有意义的讨论，不过我们在其他领域使用图方法总的来说效果还是不错的。现在YouTube报告采用Item-based方法，或许说明他们对Random Walk方法的尝试并不成功。

Greg Linden早在1998年就已经使用Item-based方法解决推荐问题，对这个情况自然会很感兴趣，他在博文中写道：“Item-to-item collaborative filtering is the algorithm Amazon developed back in 1998. Over a decade later, it appears YouTube found a variation of Amazon’s algorithm to be the best for their video recommendations.” 我在以前的博文中提到过，Item-Based方法总体来说是一种heurestic方法，对目标的拟合能力有限。但是另一方面，如果我们把推荐看成是一个检索问题，还是能找到很多改进方法的。其实检索领域使用的tf/idf或者bm 25等方法也是一些heurestic方法，但把多个heurestic方法的结果（以及其他的一些特征）做个线性组合，就可以有很好的拟合能力。这是Greg Linden在1998年提交的专利中就提到的方法，YouTube在RecSys 2010上那篇论文也采用了这条思路。所以，Greg Linden最后写道：“What is notable here is that, despite another decade of research on recommender systems, despite all the work in the Netflix Prize, YouTube found that a variant of the old item-to-item collaborative filtering algorithm beat out all others for recommending YouTube videos. ”我想这是让很多研究人员郁闷的一个结果：10多年都白干了？

组合多个heurestic方法的结果，往往已经能够取得很好的性能了。况且Item-based方法还有很多其他的优点：

1）实现简单：复杂的模型在短平快的互联网行业很难施展手脚；

2）实时响应：Item-based方法在线运算的部分代价很低，因而可以实时响应用户的请求，比如用户新添加了几个感兴趣的商品之后，可以马上更新对用户的推荐，这对一些复杂的算法是不现实的。

3）可解释性：用户总是希望自己有最后的决定权，如果系统推荐的商品不满意，得有办法让用户改进它。采用Item-based方法，很容易让用户理解为什么推荐了某个商品，用户通过在兴趣列表里添加或删除商品，可以调整系统的推荐结果。这可能是其他方法最难做到的一点。

上述原因可能是Item-based方法被广泛使用的原因。另一方面，对于Greg Linden提到的“all the work in the Netflix Prize”，我想再次谈谈其中的矩阵分解方法。我个人认为阻碍矩阵分解方法广泛使用的原因有两个：

1）最初的最小化RMSE的矩阵分解方法不适合top-k推荐，这个我在以前的博文中谈过，目前已经有很多解决方案；

2）就像YouTube在WWW 2008的论文中提到的，Netflix只有10来万个视频，而YouTube有四千多万个视频，这对目前得矩阵分解方法是难以接受的，运算消耗太大。

我很奇怪到目前还没有任何论文尝试解决第二个问题，因为类似的问题其实在其他领域（比如分类）已经有若干年的研究了，难道不适用于矩阵分解问题？