An Efficient Deep Learning Approach for Collaborative Filtering Recommender System

An Efficient Deep Learning Approach for Collaborative Filtering Recommender System

一种有效的协同过滤推荐系统深度学习方法

Abstract

在过去的几十年里，由于信息的巨大增长，世界已经成为一个地球村。推荐系统仍然是使用最广泛的商业网站类型。个性化推荐系统在基于用户过去的交互(例如，评级和点击)来建模用户对项目的偏好时至关重要，这被称为协作过滤(CF)技术。虽然CF算法在推荐系统中非常重要，但它也存在一些问题，如矩阵评分的稀疏性、可扩展性、数据的整体性等。一些研究表明，利用矩阵分解(MF)技术可以克服上述障碍。尽管该技术可能会因为使用低排序近似而缺乏一些有意义的信号，并且在奇异向量较密集时缺乏稀疏性。近年来，深度学习技术已被证明在自然语言处理、图像分类等领域具有良好的表示能力。在这项工作中，我们提出了一种协同推荐系统(DLCRS)的深度学习方法。我们对提出的方法和现有的方法进行了比较研究。实验结果表明，与已有的方法相比，我们的方法得到了更好的结果。我们在两个著名的数据集：100K和1M Movielens上对DLCRS进行了实证评估

1. Instroduction

人工智能和机器学习技术的进步带来了智能产品，这些产品对于提供人们日常生活的各种努力至关重要。个性化推荐系统的智能推荐功能可以从海量的互联网数据中获取有效和有用的信息，从而使其适用于包括电影、音乐以及购物平台在内的各种网络平台。推荐系统最重要的形式之一是推荐算法，它是识别系统性能和推荐结果质量的重要决定因素。通常使用的算法可以细分为两个主要类别：基于内容的过滤(CBF)技术[1]和协作过滤(CF)技术[2，3]。CBF通过用户-项目档案、内容分析等额外信息来分析和构建用户和项目的画像，从而构建推荐系统。在许多情况下，很难获得有用的信息来构建肖像，这对其应用和性能造成了限制。CF算法是构建推荐系统中报道最多的算法之一。它们不需要关于用户或项目的信息，这使得它们不同于CBF技术等。另一方面，CF算法基于用户和项目之间的交互信息(仅包括浏览、评级和点击)执行准确的推荐[27]。然而，尽管该方法简单有效，但由于数据的高度稀疏性，算法的性能受到限制。因此，需要其他方法来提高推荐性能。最近，人工神经网络通过深度神经网络在语音识别[6]、自然语言处理[7]和计算机视觉[8]等领域取得了令人瞩目的成就。尽管取得了这些巨大的成功，但使用这些技术的推荐系统的研究还处于初级阶段。基于深度学习的推荐系统研究较少[9]。然而，为了提高性能，几乎所有这些模型都涉及到音频信息和文本内容等附加功能的使用。这给大多数推荐系统带来了获得前述信息的困难。本文提出了一种高效的协同推荐系统(DLCRS)深度学习方法，该方法不涉及用户与项目交互之外的任何额外信息的使用。与传统方法相比，DLCRS获得了更好的性能。与现有方法相比，DLCRS模型始终获得更低的RMSE。

2. Related Work

协作过滤（CF）技术可以根据以下类别细分： Breese等人[10]报道了基于内存的方法和基于模型的方法。在基于内存的CF中，利用用户[11]或项目[12]之间的相似性进行推荐，基于内存的CF方法由于其有效性和易实现性而被广泛报道。但是，由于相似度计算以及推荐系统的规模扩展，似乎很难。此外，由于数据的高数据稀疏性，CF方法的整体性能受到限制。开发了基于CF模型的各种推荐系统，例如潜在语义模型[13]，基于回归的模型[12]，贝叶斯模型[14]，MF模型[16]和聚类模型[15]，改善上述困境。在各种CF技术中，MF技术是最流行的方法。这种方法将用户和商品建模为尺寸相似的矢量。这被视为用户/项目潜在功能的代表。这种方法的概念可以表示为概率矩阵分解（PMF）[19]，非参数概率主成分分析（NPCA）[17]和奇异值分解（SVD）[18]。但是，尤其是在评级矩阵非常稀疏的情况下，通过MF技术学习的潜在特征效率很低。相反，在深度学习技术的主持下，自然语言处理和计算机视觉领域取得了更大的成就。由于深度学习方法具有巨大的潜力，目前的研究报道了深度学习方法在推荐领域中的应用。 Salakhutdinov等人已经报道了受限的Boltzmann机器被用来代替传统的MF技术来执行CF[20]。结合用户之间和项目之间的相关性进行的工作扩展已经有充分的文献记载，Georgiev等。 [21]。还有其他一些研究已经开发了几种基于深度学习的方法，但是，它们的主要重点是针对[5，22]的推荐系统。用于学习音乐内容特征的最广泛报道的方法是深度信任网络和传统的卷积神经网络。Wang等人提出了其他推荐系统，例如分层贝叶斯模型。 [23]。这是音乐推荐之外的其他内容。在处理评级信息时，该模型被用于认知，用于获取内容特征的深度学习模型和传统的CF模型。可以观察到，基于深度学习技术的方法通过对诸如文本内容和音乐谱之类的项目的内容特征的深入学习来执行推荐。但是，在难以获得项目内容的情况下，这些方法较少使用。何向南等[24]报道了尝试提出一种基于深度学习的新推荐框架的尝试。该方法使用用户和物品ID的一键编码方法报告用户和物品的呈现。显然，该方法在模型的训练阶段仅利用ID信息。这给使用大量的先验信息带来了困难。因此，特征学习的有效性存在困难。

3. Proposed Methodlogy

在本节中，我们为协作推荐系统介绍一种有效的深度学习方法。 DLCRS模型学习用户和电影的潜在特征作为输入，并使用前向传播方法预测收视率得分。

3.1 problem Formulation

令N代表用户集合，M代表项目集合，用户二进制评分矩阵$R=[y_{ij}{]}^{|N|[M]}$，其中元素$Y_{ij}$代表用户i是否对项目j进行评分，以及用户i是否具有针对项目i的评分记录项j，然后（yij = 1），否则（yij = 0）

电影推荐系统的隐式反馈的目的是生成反映用户偏好的电影列表。

3.2 Proposed Method

矩阵分解（MF）方法的概念是，用户的行为可由嵌入的固有隐藏因素决定。众所周知，对于矢量电影和用户而言，嵌入是低维隐藏因子。众所周知，对于电影和用户向量而言，嵌入是低维隐藏因子。

在这里，使用深度学习神经网络的原因是它类似于MF技术。在MF技术中，给定的稀疏矩阵分解为两个低秩正交矩阵的乘法。在深度学习神经网络实验设置中，我们不需要它们正交，因此必须从特征矩阵中自己学习嵌入矩阵的值。

He等人[24]提出了从特定电影用户组合中的嵌入矩阵中查找的用户和电影潜在特征。潜在的电影因素可以解释电影的显性特征，如电影的类型和/或电影的隐藏特征。用户潜在因素根据相应的潜在因素来衡量用户对电影的喜好程度。如图1所示，DLCRS模型将用户身份和电影身份分别作为one-hot向量i和j连接起来。采用全连接层深度学习神经网络作为低维学习的嵌入层，嵌入过程==如式3 ==所示:

权重矩阵$Wi\in R^{k\times |i|}$和$Wj\in R^{k\times |j|}$是输入层和嵌入层之间所有层 的不可分割的一部分。DLCRS方法将用户和电影匹配到具有相同维数k的潜在因素空间。进一步,嵌入向量$U$和$V$送入一个乘法层进行$U$和$V$的element-wise乘法。然后输出一个线性交互向量R，它表示线性的用户-电影交互。如式3所示:

与通过内积根据用户-电影评分工作的MF模型不同，在深度学习模型中，它将向量R馈送到多层完全连接的神经网络中，以深入学习用户-电影交互的高级抽象[32]。在训练DLCR之后，矩阵$W_i$和$W_j$表示所有用户和电影的潜在因素。利用用户和电影的one-hot表示，$W_i$和$W_j$的每一列分别表示某个用户和电影的潜在因子$U$和$V$。对于特定用户$i$，维度$j$测量用户对电影的相应因素的兴趣程度 。对于某个电影$j$，$j$的每个维度测量该电影具有这些因素的程度。因此，元素相乘层的R的输出向量考虑用户和电影的交互。全连接层使用激活函数映射输出以显示模型的非线性，即方程4所示：

DLCRS通过使用逻辑Sigmoid函数来预测用户-电影的反应概率，以通过将多尺度评级转换为二进制来获得区间[0，1]的输出，其中1表示用户喜欢电影，而0表示没有反应，如等式5中所示:

关于用户-电影交互概率的预测如公式6所示：

这个$\Theta$是这个网络的权重，我们使用$\hat{y}$来表示输出，如公式7
$$\hat{y}=Sigmoid(w_L^T{x}_L+b_L)\text{\hspace{1em}(7)}$$
在我们的实验中，我们采用了Zhang等人提出的统一负抽样技术，从矩阵R中不可见的相互作用数据中抽取负样本[31]。例如：在训练集中 D = { < ( u i , v i ) , y i > } D=\{<(u^i,v^i),y^i > \} D={<(ui,vi),yi>}和相应的预测输出$\hat{y}$(这儿的i表示第几个样本)。使用公式8计算模型的损失，该公式计算预测的$\hat{y}$和实际$y$值之间的差。

最后，我们使用公式9中所示的成本函数来训练所提出的深度学习模型：

总结：

我读完头上顶了一个天大的“？”，不知道是哪个点吸引了审稿人，可以发表在这个期刊上。我实在是没有读出什么新颖的idea。而且文中还有写错的地方（不知道是不是作者写错了还是自己没理解到）

我理解到的这个模型的内容是：

• 直接把user_ID和item_ID进行one-hot编码，然后拼接
• 在把拼接过后的vector送入多层神经网络得到一个嵌入向量
• 再把嵌入向量送入一个一个单层网络，输出的时候在进行一个sigmoid，就得到了最后的$\hat{y}$

感觉逻辑很混乱。一开始说user_ID和item_ID进行了拼接，在后一部分又提到了嵌入向量U和V进行按元素乘法得到R向量，而且还提到了两个权重矩阵分别表示user和item的潜在向量，有没有说这两个矩阵和R怎么用

最后如有理解错误的地方还请指出

References

[1] FadhelAljunid M, Manjaiah DH. A survey on recommendation systems for social media using big data analytics. International Journal of Latest Trends in Engineering and Technology. 2017:48-58.

[2] Aljunid MF, Manjaiah DH. Movie Recommender System Based on Collaborative Filtering Using Apache Spark. InData Management, Ana-lytics and Innovation 2019 (pp. 283-295). Springer, Singapore.

[3] Aljunid MF, Manjaiah DH. An Improved ALS Recommendation Model Based on Apache Spark. International Conference on Soft Computing Systems 2018 Apr 19 (pp. 302-311). Springer, Singapore.

[4] Zhang L, Luo T, Zhang F, Wu Y . A recommendation model based on deep neural network. IEEE Access. 2018 Jan 5;6:9454-63.

[5] V an den Oord A, Dieleman S, Schrauwen B. Deep content-based music recommendation. InAdvances in neural information processing systems
2013 (pp. 2643-2651).

[6] Richardson F, Reynolds D, Dehak N. Deep neural network approaches to speaker and language recognition. IEEE signal processing letters.
2015 Apr 6;22(10):1671-5.

[7] Arisoy E, Sainath TN, Kingsbury B, Ramabhadran B. Deep neural network language models. InProceedings of the NAACL-HLT 2012 Work-
shop: Will We Ever Really Replace the N-gram Model? On the Future of Language Modeling for HLT 2012 Jun 8 (pp. 20-28). Association for Computational Linguistics.

[8] Cires ¸an D, Meier U, Schmidhuber J. Multi-column deep neural networks for image classification. arXiv preprint arXiv:1202.2745. 2012 Feb13.

[9] Batmaz Z, Yurekli A, Bilge A, Kaleli C. A review on deep learning for recommender systems: challenges and remedies. Artificial Intelligence Review. 2019 Jun 1;52(1):1-37.

[10] Breese JS, Heckerman D, Kadie C. Empirical analysis of predictive algorithms for collaborative filtering. InProceedings of the Fourteenth conference on Uncertainty in artificial intelligence 1998 Jul 24 (pp. 43-52). Morgan Kaufmann Publishers Inc…

[11] Herlocker JL, Konstan JA, Borchers A, Riedl J. An algorithmic framework for performing collaborative filtering. In22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 1999 1999 Aug 1 (pp. 230-237). Association for Computing Machinery, Inc.

[12] Sarwar BM, Karypis G, Konstan JA, Riedl J. Item-based collaborative filtering recommendation algorithms. Www. 2001 May 1;1:285-95.

[13] Hofmann T, Puzicha J. Latent class models for collaborative filtering. InIJCAI 1999 Jul 31 (Vol. 99, No. 1999).
[14] Miyahara K, Pazzani MJ. Collaborative filtering with the simple Bayesian classifier. InPacific Rim International conference on artificial intel-ligence 2000 Aug 28 (pp. 679-689). Springer, Berlin, Heidelberg.

[15] Liu J, Jiang Y, Li Z, Zhang X, Lu H. Domain-sensitive recommendation with user-item subgroup analysis. IEEE Transactions on Knowledge and Data Engineering. 2015 Oct 26;28(4):939-50.

[16] Koren Y, Bell R, Volinsky C. Matrix factorization techniques for recommender systems. Computer. 2009 Aug 1(8):30-7.

[17] Yu K, Zhu S, Lafferty J, Gong Y . Fast nonparametric matrix factorization for large-scale collaborative filtering. InProceedings of the 32nd international ACM SIGIR conference on Research and development in information retrieval 2009 Jul 19 (pp. 211-218). ACM.

[18] Sarwar B, Karypis G, Konstan J, Riedl J. Application of dimensionality reduction in recommender system-a case study. Minnesota Univ Minneapolis Dept of Computer Science; 2000 Jul 14.
[19] Mnih A, Salakhutdinov RR. Probabilistic matrix factorization. InAdvances in neural information processing systems 2008 (pp. 1257-1264).

[20] Salakhutdinov R, Mnih A, Hinton G. Restricted Boltzmann machines for collaborative filtering. InProceedings of the 24th international con-ference on Machine learning 2007 Jun 20 (pp. 791-798). ACM.

[21] Van den Oord A, Dieleman S, Schrauwen B. Deep content-based music recommendation. InAdvances in neural information processing systems 2013 (pp. 2643-2651).

[22] Wang X, Wang Y. Improving content-based and hybrid music recommendation using deep learning. InProceedings of the 22nd ACM interna-tional conference on Multimedia 2014 Nov 3 (pp. 627-636). ACM.

[23] Wang H, Wang N, Yeung DY. Collaborative deep learning for recommender systems. InProceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining 2015 Aug 10 (pp. 1235-1244). ACM.

[24] He X, Liao L, Zhang H, Nie L, Hu X, Chua TS. Neural collaborative filtering. InProceedings of the 26th international conference on world wide web 2017 Apr 3 (pp. 173-182). International World Wide Web Conferences Steering Committee.

[25] Liao CL, Lee SJ. A clustering based approach to improving the efficiency of collaborative filtering recommendation. Electronic Commerce Research and Applications. 2016 Jul 1;18:1-9.

[26] Elahi M, Ricci F, Rubens N. A survey of active learning in collaborative filtering recommender systems. Computer Science Review. 2016 May 1;20:29-50.

[27] Zhang L, Luo T, Zhang F, Wu Y. A recommendation model based on deep neural network. IEEE Access. 2018 Jan 5;6:9454-63.

[28] Deng S, Huang L, Xu G, Wu X, Wu Z. On deep learning for trust-aware recommendations in social networks. IEEE transactions on neural networks and learning systems. 2016 Feb 19;28(5):1164-77.

[29] Koren Y. Factorization meets the neighborhood: a multifaceted collaborative filtering model. InProceedings of the 14th ACM SIGKDD inter-national conference on Knowledge discovery and data mining 2008 Aug 24 (pp. 426-434). ACM.

[30] Lee DD, Seung HS. Algorithms for non-negative matrix factorization. InAdvances in neural information processing systems 2001 (pp. 556-562).

[31] Zhang Q, Cao L, Zhu C, Li Z, Sun J. CoupledCF: Learning Explicit and Implicit User-item Couplings in Recommendation for Deep Collabo-rative Filtering. InIJCAI 2018 Jan 1 (pp. 3662-3668).

[32] Zhang Q, Wang L, Meng X, Xu K, Hu J. A Generic Framework for Learning Explicit and Implicit User-Item Couplings in Recommendation.IEEE Access. 2019 Aug 27;7:123944-58.