NeuralCF模型--CF与深度学习的结合

1. 简介

NCF是协同过滤在神经网络上的实现——神经网络协同过滤。由新加坡国立大学与2017年提出。

从深度学习的角度视角来看看待矩阵分解模型，那么矩阵分解层的用户隐向量和物品隐向量完全可以看做是一种Embedding方法。最终的scoring层就是将两种隐向量进行内积操作后所得到的的相似度

矩阵分解得到低维隐向量求内积是线性的，并且矩阵分解的模型结构较为简单，特别是Scoring层，无法对优化目标进行有效的拟合。而神经网络模型能带来非线性的效果，NeuralCF采用“多层神经网络+输出层”的结构代替了矩阵分解中的简单内积操作，使得用户隐向量和物品隐向量交叉更加充分，从而得到更多的特征组合信息，同时，更多的非线性特征信息的引入，也让模型的表达能力更强，极大地提高协同过滤的效果。

另外，NCF处理的是隐式反馈数据，而不是显式反馈，这具有更大的意义，在实际生产环境中隐式反馈数据更容易得到。

2. 网络架构和原理

2.1 输入
由于这篇文章的主要目的是协同过滤，因此输入为user和item的id，把他们进行onehot编码，然后使用单层神经网络进行降维即Embedding化。作为通用框架，其输入应该不限制与id类信息，可以是上下文环境，可以是基于内容的特征，基于邻居的特征等辅助信息。

为啥图中使用两组user和item的向量？一组走向GMF一组走向MLP？——后续分析

2.2 MLP部分
可以发现MLP部分为多层感知机的堆叠，每一层的输出就作为下一层的输入，文中描述最后一层Layer X表示模型的容量能力，所以越大容量就越大。

这部分可以捕获用户-物品的交互非线性关系，增强模型的表达能力。

每层的非线性通过ReLu（符合生物学特征；能带来稀疏性；符合稀疏数据，比tanh效果好一点）来激活，可以防止sigmoid带来的梯度消失问题
2.3 GMF部分
NCF其实是MF的一个通用化框架，去掉MLP部分，如果添加一个元素集互操作方式（element-wise product：长度相似的两个向量的对应维相乘得到另一向量），就是用户-物品隐向量的内积。同时NeuMF Layer仅仅使用线性激活函数，则最终的结果 就是MF的一个输出。如果激活函数是一般的函数，那么MF可以被称为GMF，Generalized Matrix Factorization广义矩阵分解。
2.4目标函数
如果是矩阵分解模型，常处理显式反馈数据，这样可以将目标函数定义为平方误差损失（MSE），然后进行回归预测：

隐式反馈数据，MSE不好用，因此隐式反馈数据的标记不是分值而是用户是否观测过物品，即1 or 0.其中，1不代表喜欢，0也不代表不喜欢，仅仅是否有交互行为。

因此，预测分数就可以表示为用户和物品是否相关，表征相关的数学定义为概率，因此要限制网络输出为[0,1]，则使用概率函数如，sigmoid函数。目的是求得最后一层输出的概率最大，即使用似然估计的方式来进行推导：

连乘无法光滑求导，且容易导致数值下溢，因此两边取对数，得到对数损失取负数可以最小化 损失函数，即用逻辑回归来拟合最终的预测目标：

2.5 GMF和MLP的结合
GMF，它应用了一个线性内核来模拟潜在的特征交互；MLP，使用非线性内核从数据中学习交互函数。接下来的问题是：我们如何能够在NCF框架下融合GMF和MLP，使他们能够相互强化，以更好地对复杂的用户-项目交互建模？一个直接的解决方法是让GMF和MLP共享相同的嵌入层（Embedding Layer），然后再结合它们分别对相互作用的函数输出。这种方式和著名的神经网络张量（NTN,Neural Tensor Network）有点相似。然而，共享GMF和MLP的嵌入层可能会限制融合模型的性能。例如，它意味着，GMF和MLP必须使用的大小相同的嵌入;对于数据集，两个模型的最佳嵌入尺寸差异很大，使得这种解决方案可能无法获得最佳的组合。为了使得融合模型具有更大的灵活性，我们允许GMF和MLP学习独立的嵌入，并结合两种模型通过连接他们最后的隐层输出。

黑体字部分解释了输入部分使用两组Embedding的作用。

3. 代码实现

参考《深度学习推荐系统》以及该文章

4，优缺点性：

相对于矩阵分解来说模型的表达能力在不断加强，但从本质上讲，模型只使用了用户和物品的id类特征，并没有更多其他特征，会造成信息损失