[深度学习]逻辑回归

前言

逻辑回归可进行多特征融合。它将推荐系统看成一个分类问题，通过预测正样本的概率对物品进行排序。因此，逻辑回归模型将推荐问题转换成一个CTR(click through rate)预估问题。

推断过程

1. 将特征向量$x=(x_1,x_2,...,x_n)$作为模型输入
2. 为各特征赋予相应权重$(w_1,w_2,...,w_n)$来表示各特征的重要性差异，将各特征加权求和，得到$x^{T}w$
3. 将$x^{T}w$输入sigmoid函数，使之映射到0~1区间，得到最终的“CTR”。

sigmoid函数：$$f(x)=\frac{1}{1+e^{-(wx+b)}}$$

模型训练方法

梯度下降法

三种常见的梯度下降法总结比较

逻辑回归的优劣

优势

1. 算法优势

• LR的假设服从伯努利分布与CTR契合
• sigmoid映射到0~1符合CTR的物理意义
• 不仅预测出类别，还可以得到近似概率预测
• 因为结果是概率，所以可用作排序

2. 工程优势

• 对率函数是任意阶可导凸函数，有很好的数学性质，很多数值优化算法可直接用于求取最优解
• 容易使用和解释，计算代价低（线性模型、权重大小、因素）
• LR对时间和内存需求相当高效

3. 业界倾向

• 可应用于分布式数据，并且还有在线算法实现，用较小资源处理较大数据（互联网存储的数据类型一般都是分布式数据）。
• 灵活进行特征选取和交叉，方便特征工程的迭代

局限性

辛普森悖论说明：逻辑回归只针对单一特征做简单加权，不具备进行特征交叉生成高维组合特征的能力。
表达能力不强，无法进行特征交叉、特征筛选等操作，于是不可避免的造成信息损失。