推荐系统（一）LR，FM，FFM，Deep&Wise，DeepFM，ESMM

一、LR

（一）简单总结

• 是广义线性模型，每个特征都是独立的，如果需要考虑特征与特征之间的相互作用，需要人工对特征进行交叉组合。
• 非线性SVM可以对特征进行核变换，但是在特征高度稀疏的情况下，并不能很好的进行学习。

（二）FTRL

---

二、FM

Rendle S. Factorization Machines[C]// IEEE International Conference on Data Mining. 2011.

（一）简单背景介绍

• 解决数据稀疏的情况下，特征怎样组合的问题。
• 对于一阶参数的训练，只要这个样本中对应的变量不为0，而二阶的参数必须两个变量同时不为0才可以。在数据稀疏时，很多特征交互是模型无法训练的。
• LR是需要特征工程的，SVM在稀疏场景下无法用。
• 通过参数矩阵分解，打破了特征组合之间的独立性，使是一个组合特征的学习可以收到其他相关组合特征的帮助。
• 原本预测公式的复杂度：O(kn2)，可以通过转换变为 O(kn)。

（二）公式推导

预测公式

O(kn2)变O(kn)

随机梯度下降，O(kn)

---

三、FFM

2016年发表在 recsys 上的论文

（一）简单介绍

• FM：一个特征对应一个隐变量；FFM：将特征分为多个field，每个特征对每个field分别有一个隐变量，因为同一个特征对不同field的影响可能是不同的，隐变量也应该不同。
• 举个例子，我们的样本有3种类型的字段：publisher, advertiser, gender。其中publisher有5种，advertiser有10种，gender有2种，one-hot编码后，每个样本有17个特征，其中只有3个非空。
  FM，17个特征，每个特征对应1个隐变量。
  FFM，17个特征，每个特征对应3个隐变量。

（二）模型介绍

• 表达式