推荐算法学习笔记1.3:传统推荐算法-逻辑回归算法

1.3 逻辑回归

逻辑回归相比于基于共现矩阵的算法，将 推荐分数 转为 推荐概率，从而将原本的分数估计问题转为事件是否发生的分类问题（e.g. 点击率（Click Through Rate，CTR）估计问题）。该算法能够利用用户、物品、上下文等多种不同的特征，生成较为全面的推荐结果。

• 学习过程：

  用户特征，物品属性，上下文等特征数值化+预处理→训练逻辑回归模型。

• 推理过程：

  用户特征，物品属性，上下文等特征数值化+预处理→模型预测得到概率→概率排序→生成推荐结果。

数学建模：

逻辑回归算法将因变量y视为符合泊松分布的随机变量，适用于推荐语境，对于输入向量${\mathbf{x}}_i$，其计算过程如下：

$${\hat{y}}_i=f({\mathbf{x}}_i,\mathbf{w},b)=\frac{1}{1-e^{-({\mathbf{w}}^T\mathbf{x}+b)}}$$

结合最大似然估计法以及对数化简，其目标函数为，

$$mi{n}_{\text{w},b}L(\text{w},b)=-\frac{1}{n}\sum _{i=1,\dots ,n}{y}_{i}log(f({\mathbf{x}}_i,\mathbf{w},b))-(1-y_i)(1-f({\mathbf{x}}_i,\mathbf{w},b))$$

求导过程如下：

1. 令$z={\mathbf{w}}^T\mathbf{x}+b$, $\frac{\partial f}{\partial \mathbf{w}}=\frac{e^{-z}}{(1-e^{-z}{)}^2}\frac{\partial z}{\partial \mathbf{w}}=(1-f({\mathbf{x}}_i,\mathbf{w},b))f({\mathbf{x}}_i,\mathbf{w},b)\mathbf{x}$
2. $\frac{\partial L}{\partial \mathbf{w}}=-\frac{1}{n}{\sum }_{i=1,\dots ,n}\frac{y_i}{f({\mathbf{x}}_i,\mathbf{w},b)}(1-f({\mathbf{x}}_i,\mathbf{w},b))f({\mathbf{x}}_i,\mathbf{w},b)\mathbf{x}+\frac{1-y_i}{1-f({\mathbf{x}}_i,\mathbf{w},b)}(f({\mathbf{x}}_i,\mathbf{w},b)-1)f({\mathbf{x}}_i,\mathbf{w},b)\mathbf{x}=\frac{1}{n}{\sum }_{i=1,\dots ,n}(f({\mathbf{x}}_i,\mathbf{w},b)-y_i)\mathbf{x}$
3. $\frac{\partial L}{\partial b}=-\frac{1}{n}{\sum }_{i=1,\dots ,n}\frac{y_i}{f({\mathbf{x}}_i,\mathbf{w},b)}(1-f({\mathbf{x}}_i,\mathbf{w},b))f({\mathbf{x}}_i,\mathbf{w},b)+\frac{1-y_i}{1-f({\mathbf{x}}_i,\mathbf{w},b)}(f({\mathbf{x}}_i,\mathbf{w},b)-1)f({\mathbf{x}}_i,\mathbf{w},b)=\frac{1}{n}{\sum }_{i=1,\dots ,n}(f({\mathbf{x}}_i,\mathbf{w},b)-y_i)$

算法总结：

优点：可解释性强，易于工程化（ 易于并行，模型简单，训练开销小）。

缺点：特征单一，表达能力弱，无法进行特征交叉和特征筛选。

为什么不用线性回归？ 因为线性回归对因变量y的假设是符合高斯分布，而逻辑回归是符合泊松分布，明显泊松分布更使用于这类二分类问题的数学假设。