paper note-learnig recommender systems with adaptive regularization

简介

在推荐系统中最常用的模型是分解模型（factorization model），为了防止模型的过拟合，一般需要在损失函数中添加正则项。分解模型在测试集或者实际应用中的表现很大程度上依赖正则项参数（Regularization values的)，而这个参数一般被视为超参数，即在每次实验开始前已经确定的参数。在实验过程中一般是准备多个候选值，分别进行实验，然后选取效果最好的。这样是比较耗时的。

这篇论文提出了一个新的观点，将正则化参数视为一个可以通过学习得到的参数，在学习的过程中自动的调整这个参数，从而避免耗时的调参工作。提出的算法具有以下几个特点：

• 列表内容将正则化参数集成到模型参数的学习算法中
• 算法的时间复杂度和梯度下降一样
• 不在需要手动的调试正则化参数，并且正则化参数的可选范围从有限变成的无限。

分解机

$S$ ：数据集

$\lambda$ ：正则化系数

$\Theta$ ：假设空间

$\theta$ ：模型参数

$y$ ：真实值

$\hat{y}$ ：预测值

$l$ ：损失函数

模型公式

由于SVD++、MF等模型可以视为分解机（Factorization Machine）的特例，所以本文采用的模型为分解机。

$$\hat{y}(\textbf{x}) = w_0 + \sum_{l=1}^{p}{w_l x_l}+ \sum_{l_1=1}^{p}\sum_{l_2>l_1}^{p}<\textbf{v}_{l_1},\textbf{v}_{l_2}>x_{l_1}x_{l_2}$$
公式（1）的时间复杂度为 $O(kn^2)$

通过对（1）的变形，可以将其时间复杂度降低到$O(kn)$

$$\hat{y}(\textbf{x}) = w_0 + \sum_{l=1}^{p}{w_l x_l} + \frac{1}{2}\sum_{f=1}^k((\sum_{l=1}^pv_{l,f}x_l)^2-\sum_{l=1}^pv_{l,f}^2x_l^2)$$

目标函数

一般用损失函数来量化预测评分 y^