推荐算法之逻辑回归

前言

从本文开始算是正式进入推荐算法的这一行列了。逻辑回归在推荐算法中有着举足轻重的地位，现在很多的算法几乎都多多少少有着逻辑回归的影子。相比较协同过滤，逻辑回归能够综合用户、物品和上下文等多种不同的特征，生成一个全面的结果。并且逻辑回归中的“感知机”也是作为神经网络中最基础的单一神经元，是深度学习的基础型结构。在传统的推荐系统中，逻辑回归衍生出来经典的模型和算法。例如常见的因子分解机FM，Facebook提出的GBDT+LR组合的模型，以及阿里巴巴曾经主流的推荐模型LS-PLM。今天就一起系统的来学习一下逻辑回归！！（激动）

一、逻辑回归

在介绍推荐算法中逻辑回归之前，我觉得很有必要先系统的学习一下什么是逻辑回归。逻辑回归细节很多，在这里写的不对的地方希望大家能够及时评论补充，感谢！Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。逻辑回归因其简单、可并行化、可解释强深受工业界喜爱。我们以二分类为例，对于所给的数据集假设存在这样一个函数可以将这些数据完成划分。

决策边界可以看成y=f(wx+b)这样的一个函数，当y>0的时候就可以判定它的类别为1，这个过程就是感知机。因为给定的分界函数是连续的，而给定的数据往往是离散的，所以逻辑回归还要进行分类概率的判定，通过比较分类概率和输入向量X的关系来进行判定类别。最理想的讲就是单位阶跃函数。

当然不一定是p=0.5的时候进行分类，可以根据自己的设计来进行训练。这里一般都默认为0.5的时候为阶级跳跃。为了使概率函数可微，这里使用了大名鼎鼎的Sigmoid函数：

Sigmoid函数图像如下所示：

由上图可以看出&#