【论文阅读】增量协同过滤

最新推荐文章于 2023-09-05 10:03:08 发布

凝眸伏笔

最新推荐文章于 2023-09-05 10:03:08 发布

阅读量610

点赞数 1

分类专栏：论文阅读文章标签：推荐算法算法机器学习

本文链接：https://blog.csdn.net/pearl8899/article/details/123101038

版权

论文阅读专栏收录该内容

23 篇文章 4 订阅

订阅专栏

论文链接：增量协同过滤论文地址

1.协同过滤简单回顾

主要说说itemCF，基于内容的协同过滤。

点击过过item1的用户集合为X，点击过过item2的用户集合为Y，那么item1和item2的相似成都可以定义为：

$ItemCF(item1,item2) = \frac{X \bigcap Y}{X\bigcup Y}$

即：对item1和item2这两个item有行为的用户越多，则越相似。

2.协同过滤最大的问题

计算量过大，为了解决这个问题，基于增量更新的协同过滤方法。

举个例子：有7万item，有交互的样本条数有200w，假设有100w用户，单机情况下，运行2h。

时间复杂度7w*log(7w)*O(X与Y取交集和并集)

全量更新的计算量比较大，希望有增量更新的方法来提升更新效率。一方面，一天内增加的user和item互动样本是全量更新的1/30（如果你用30天的用户行为数据来做协同的话），这点数据换全量数据更新不划算；另一方面，一天内也会出现一些新的item，扩充了item的量，这个同样占据1/30.

搜索到一篇论文：Incremental Collaborative Filtering for Highly-Scalable Recommendation Algorithms ，研读一下原理，看看是否可以解决当前问题。

3.增量协同过滤

摘要：

大多数推荐系统使用协同过滤(CF)的变体来制定与用户兴趣相关的推荐。但是CF的计算量太大，随着数据库中用户和item的数量的增长，计算复杂度指数增长。为处理这一scalability

的问题，提出了方法基于近似机制的加速计算方法，即使性能提高，多数情况下也会导致准确性下降。本文提出了一种基于user-user的相似性增量更新的scalability问题的解决方法。我们的增量协同过滤(ICF)算法：(i)不是基于任何近似方法，提供了高质量推荐公式，(ii)提供比经典CF快几个数量级的推荐，因此适合在线应用。

现有的CF加速方法

经典的CF不能随着数据库中用户和item数量的增长而扩大计算量。为了解决scalability问题，Breese et al .[4]和Ungar et al .[8]利用贝叶斯网络和聚类方法，Sarwar et al .[6, 11]利用奇异值分解(Singular Value Decomposition, SVD)中的折叠方法来降低用户-物品矩阵的维数。也可以通过数据缩减或数据聚焦技术来解决这些scalability问题。Yu et al . [12] and Zeng et al .[9]采用实例选择的方法去除不相关和冗余的实例。此外，content-boosted 的CF方法通过根据item类别或主题分类对item空间进行划分，减少了item的数量。最后，更贪婪的方法集中于随机抽样用户，丢弃评分很少的用户或丢弃非常流行或不受欢迎的item。

这些方法获得了改进的性能，它们也会以几种方式降低推荐质量。贝叶斯网络被证明适用于用户偏好相对于构建模型所需时间变化缓慢的环境，但不适用于用户偏好模型必须频繁更新的环境。基于聚类的方法准确度较差。通过使用大量的细粒度细分[13]可以提高它们的质量，但是在线用户细分分类变得几乎和使用经典的CF寻找相似用户一样昂贵。基于svd的工作主要关注准确性而不是效率。数据聚焦和缩减方法，例如实例选择或item空间划分，由于信息丢失而降低了准确性。如果算法丢弃了最流行或最不受欢迎的item，则可能存在永远不会推荐给某些用户的条目。显然，要获得计算量，就需要失去推荐质量，反之亦然。必须考虑适当的权衡。