《文哥的学习笔记——推荐系统遇上深度学习》笔记（1~9）

原地址文哥的学习笔记
本文仅从个人角度进行记录学习，很多内容记录不全面，并且原文提供了代码，建议有需要的读者阅读大佬原文进行学习。

第一篇 FM模型理论和实践：
1、CTR预估(click-through rate)
2、FM：考虑了高阶的特征组合（一般只用二阶），通过矩阵分解用辅助向量求解特征组合的权重矩阵。好处：参数数量减少；参数因子化使得xhxi的参数和xhxj的参数不再相互独立，因为有了xh特征关联，减少数据稀疏性造成的影响。

第二篇 FFM模型理论和实践：
1、在FFM中，每一维特征 xi，针对其它特征的每一种field fj，都会学习一个隐向量 v_i,fj。主要用于解决稀疏性。
2、同一个categorical特征经过One-Hot编码生成的数值特征都可以放到同一个field
3、FFM将问题定义为分类问题，使用的是logistic loss，同时加入了正则项

第三篇 DeepFM模型理论和实践：
1、对于离散特征的处理，我们使用的是将特征转换成为one-hot的形式，但是将One-hot类型的特征输入到DNN中，会导致网络参数太多。解决方法：类似于FFM中的思想，将特征分为不同的field。输入时不是一个非常大的全连接层，而是不同field的特征使用不同的分别的全连接网络提取，结果进行拼接，输入到后面的全连接层。
2、DeepFM包含两部分：神经网络部分与因子分解机部分，分别负责低阶特征的提取和高阶特征的提取，主要由FM和DNN两部分组成，底部共享同样的输入

第四篇 多值离散特征的embedding解决方案
1、多值离散特征：一个特征中有多个值（[a,b,c]）
2、一种解决方案：embedding后取平均

第五篇 Deep&Cross Network：
1、DCN模型从嵌入和堆积层开始，接着是一个交叉网络和一个与之平行的深度网络，之后是最后的组合层，它结合了两个网络的输出
2、对于Onehot的特征，为了减少维数，采用嵌入过程将这些离散特征转换成实数值的稠密向量（通常称为嵌入向量）。嵌入向量与连续特征向量拼接作为后面的输入。
3、交叉网络的核心思想是以有效的方式应用显式特征交叉，深度网路用于捕捉高度非线性的相互作用

第六篇 PNN模型理论和实践
1、Product-based Neural Network
2、product layer可以分成两个部分，一部分是线性部分lz，一部分是非线性部分lp

第七篇 NFM模型理论和实践
1、FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。 FM和DNN的结合有两种主流的方法：并行结构和串行结构。NFM模型(Neural Factorization Machine)，便是串行结构中一种较为简单的网络模型。

结构	描述	常见模型
并行结构	FM部分和DNN部分分开计算，只在输出层进行一次融合得到结果	DeepFM，DCN，Wide&Deep
串行结构	将FM的一次项和二次项结果(或其中之一)作为DNN部分的输入，经DNN得到最终结果	PNN,NFM,AFM

2、目标值的预测公式变为，f(x)是用来建模特征之间交互关系的多层前馈神经网络模块。

3、NFM本质上还是基于FM，FM会让一个特征固定一个特定的向量，当这个特征与其他特征做交叉时，都是用同样的向量去做计算。这个是很不合理的，因为不同的特征之间的交叉，重要程度是不一样的

第八篇 AFM模型理论和实践
1、AFM模型(Attentional Factorization Machine)，便是串行结构中一种网络模型。

2、AFM在FM的基础上添加了attention的机制，使得特征和其他不同特征交叉时使用不同的向量。

第九篇 评价指标AUC原理及实践
1、混淆矩阵，准确率，精确率，召回率，F-1 Score
2、ROC与AUC。ROC曲线的横轴为“假正例率”（False Positive Rate,FPR)，又称为“假阳率”；纵轴为“真正例率”(True Positive Rate,TPR)，又称为“真阳率”，假阳率，简单通俗来理解就是预测为正样本但是预测错了的可能性，显然，我们不希望该指标太高。真阳率，则是代表预测为正样本但是预测对了的可能性
3、可以直接优化AUC来训练分类器。源自知乎