四种推荐算法——Embedding+MLP、Wide&Deep、DeepFM、NeuralCF

一、Embedding+MLP模型

Embedding+MLP 主要是由 Embedding 部分和 MLP 部分这两部分组成，使用 Embedding 层是为了将类别型特征转换成 Embedding 向量，MLP 部分是通过多层神经网络拟合优化目标。——用于广告推荐。

1. Feature层即输入特征层，是模型的input部分，如上图的Feature#1是向上连接到embedding层，而Feature #2是直接连到stacking层。——前者代表类别型特征经过one-hot编码后生成的特征向量——过于稀疏，不适合直接输入网络中进行学习（所以先接入embedding层转为稠密向量）；而后者是数值型特征。
2. Stacking 层中文名是堆叠层，也叫连接（Concatenate）层作用是把不同的 Embedding 特征和数值型特征拼接在一起，形成新的包含全部特征的特征向量。
3. MLP 层的作用是让特征向量不同维度之间做充分的交叉，让模型抓取到更多的非线性特征和组合特征的信息，使深度学习模型在表达能力上较传统机器学习模型大为增强。
4. Scoring 层，它也被称为输出层，为了拟合优化目标。对于CTR 预估这类二分类问题，Scoring 层往往使用的是逻辑回归模型，输出层使用 sigmoid 函数作为激活函数，输出一个介于 0 和 1 之间的概率值；而对于图像分类等多分类问题，Scoring 层往往采用 softmax 模型，使用 softmax 函数作为激活函数，输出每个类别的概率值。

深度学习模型DeepCrossing——一个经典的Embedding+MLP模型结构——微软提出。属于Embedding+MLP模型的进阶，在 Embedding + MLP 的基础上增加了交叉层，以更好地模拟特征之间的高阶交互。

二、Wide&Deep模型——线性模型（Wide）和深度神经网络（Deep）

推荐算法面临一个和搜索排序系统一个类似的挑战——记忆性和泛化性的权衡。

记忆能力：可以被理解为模型直接学习并利用历史数据中物品或者特征的“共现频率”的能力。也可以简单地理解成对商品或者是特征之间成对出现的一种学习，由于用户的历史行为特征是非常强的特征，特征之间的直接线性关联，对于特征间的简单关系很有效。

泛化能力：可以被理解为模型传递特征的相关性，以及发掘稀疏甚至从未出现过的稀有特征与最终标签相关性的能力。对于泛化能力来说，它的主要来源是特征之间的相关性以及传递，捕捉复杂特征组合中的隐形关系、非线性关系。利用特征之间的传递性，就可以探索一些历史数据当中很少出现的特征组合，获得很强的泛化能力。

GooglePlay提出的Wide&Deep是比较经典的一个深度学习模型，它使模型既具有想象力又具有记忆力——线性模型（Wide）使模型既具有记忆力和深度神经网络（Deep）使模型既具有泛化性。

                                                 Wide&Deep架构示意图

Wide&Deep模型的工作流程：

1. 特征工程：首先对原始数据进行预处理和特征工程，生成一系列可用于模型训练的特征。
2. Wide 部分：将一部分特征直接输入到线性模型中，用于捕捉直接的线性关系——通常采用的是逻辑回归或线性回归模型，仅考虑每个特征对目标变量的直接贡献，而不考虑特征之间的交互。每个特征的权重都是独立计算的，不涉及与其他特征的相互作用——可以手动设置简单的二阶特征交叉。
3. Deep 部分：将另一部分特征输入到深层神经网络中，用于学习特征之间的非线性关系。（本项目中输入全部特征）
4. 联合训练：Wide 和 Deep 两部分的输出会被合并起来，通常是在最后一层通过加权求和的方式进行融合。
5. 输出层：最后的输出层会根据Wide和Deep部分的融合结果生成最终的预测值。

举个简单的例子：电影推荐系统——预测用户是否会喜欢一部电影。

Wide 部分

特征包括：用户的年龄、性别、电影类型、导演等。

这些特征之间可能有直接的关系，比如年轻观众可能更喜欢动作片。

使用Wide部分（例如逻辑回归）来捕捉这些直接关系。

Deep 部分

特征包括：用户的观看历史、评分历史等。

这些特征之间的关系更为复杂，例如用户观看历史中的模式可能是非线性的。

使用Deep部分（例如多层神经网络）来学习这些复杂的模式。

如何工作

输入：用户特征和电影特征作为输入。

Wide 部分：直接使用特征进行线性预测。

Deep 部分：使用神经网络学习特征间的非线性关系。

合并：Wide和Deep的预测结果在最后一层合并。

输出：预测用户是否会喜欢这部电影。

结果

预测：结合了记忆性（Wide部分）和泛化性（Deep部分），可以更准确地预测用户喜好。

优势：能够处理简单和复杂的关系，提高推荐系统的准确性。

三、DeepFM模型

DeepFM是由哈工大和华为公司联合提出的深度学习模型。DeepFM模型包含因子分解机 (FM) 和深度神经网络 (DNN)。

1. FM 部分：处理了一阶特征（每个特征的独立贡献）和二阶特征交互（特征之间的相互作用）——相对于Wide&Deep中的Wide部分多出二阶特征交互的部分——可以自动捕捉所有的可能的特征二阶交互。——DeepFM用FM替换原来的Wide部分，加强了浅层网络部分特征组合的能力。
2. Deep 部分：通过 MLP 处理高阶特征交互，这里的高阶交互指的是通过神经网络自动学习得到的复杂特征组合。
3. 合并输出：将 FM 部分的一阶和二阶特征交互与 Deep 部分的高阶特征交互结果合并，得到最终的预测。

                           DeepFM架构示意图

DeepFM VS Wide&Deep

假设我们有一个推荐系统，需要预测用户是否会点击某个广告。我们的特征包括用户的年龄、性别、所在城市、广告类型等。

DeepFM 的FM部分会考虑年龄与所在城市的交互效应。例如，年龄较大的用户在某些城市可能更倾向于点击某种类型的广告。

Wide & Deep 的Wide部分仅考虑年龄、性别、所在城市等特征各自对点击率的贡献，而不考虑它们之间的交互。

• DeepFM 通过FM部分捕捉特征间二阶交互效应，更好处理复杂的数据关系。
• Wide & Deep 的Wide关注每个特征一阶效应，快速学习每个特征的重要性。

这两种模型各有优势，数据集非常稀疏且需要捕捉复杂的特征交互，那么DeepFM可能更适合;数据集包含丰富的特征，并希望通过显式特征工程来捕捉特征间的交互，那么Wide & Deep可能更适合。

四、NeuralCF（神经网络协同过滤）

NeuralCF 结合了传统矩阵分解的优点（记忆性）和深度学习的能力（泛化能力），通过MLP代替内积操作来提高推荐准确性——新加坡国立学者提出。

                          NeuralCF的模型结构图 （出自论文Neural Collaborative Filtering）

最经典的是输入用户和物品id，转化成One-hot编码后经过简单的Embedding后生成稠密向量，然后将用户塔和物品塔拼接一起，送进MLP层中充分交叉，获取更高阶的特征，然后输出。

双塔模型——NeuralCF 的扩展

双塔模型是在经典 NeuralCF 基础上的扩展，其中增加了更多的特征信息，并且在每个塔内进行了更充分的特征交叉。这种扩展能够使模型更好地理解用户和物品之间的复杂关系，提高推荐的准确性。

• 多特征输入：不仅限于用户ID和物品ID，还包括其他相关的特征信息。
• 特征交叉：每个塔内的 MLP 能够处理更多特征的交叉，增强模型的学习能力。
• 独立建模：用户和物品分别在独立的塔中建模，最后通过某种方式（如点积）进行交互。

交互方式（用户Embedding-物品Embedding）:

• 如果数据集较小或者特征比较简单，捕捉线性相似度，使用点积可能会更有效率，同时避免过拟合的风险。
• 如果数据集较大或者特征之间存在复杂的非线性关系，使用 MLP 进行交互可以更好地捕捉这些关系，尽管这可能会增加计算复杂度。