Logistic Regression算法数学原理

Logistic Regression算法是一种被广泛使用的分类算法，Logistic Regression算法是典型的线性分类器，由于算法的复杂度低、容易实现等特点，在工业界得到了广泛的应用，如：利用Logistic Regression算法实现广告的点击率预估。

Logistic Regression模型

Logistic Regression 模型是广义线性模型的一种， 属于线性的分类模型。对于如下图所示的线性可分的问题，需要找到一条直线将两条不同的类区分开，这条直线也称为超平面。

上述的超平面可以用如下的线性函数表示：Wx+b=0
其中W 为权重，b为偏置，若在如下线性不可分的情况下，权重W和偏置b则均为向量形式，也即分离超平面为$WX+b=b+W_{1}x_{1}+W_{2}x_{2}+\cdots +W_{n}x_{n}=0$。

在Logistic Regression算法中，通过对训练样本的学习，最终得到该超平面，将数据分成正负两个类别。那么对于一个具体的样本，怎么判别它属于哪个类别呢？此时，可以使用阈值函数，将样本映射到不同的类别中，常见的阈值函数有Sigmoid函数，其形式如下所示：

sigmoid函数的输出是介于（0，1）之间的，这样我们可以将sigmoid函数看成样本数据的概率密度函数 ，对于输入向量X，其属于正例的概率为：

其中，σ 表示的是Sigmoid函数。那么，对于输入向量X，其属于负例的概率为：

损失函数

为求得分离超平面曲线Wx+b=0，需要求解曲线中的参数权重矩阵W和偏置向量b，求解这些参数，需要先定义损失函数。
在上述的Logistic Regression算法中，一个样本属于类别y的概率为：

要求上述问题中的参数W和b，可以使用极大似然法对其进行估计：
假设训练集里有m个训练样本$\left \{(X^{(1)},y^{(1)}),(X^{(2)},y^{(2)}),\cdots ,(X^{(m)},y^{(m)}) \right \}$
则其似然函数为：

对于似然函数的极大值的求解，通常使用Log似然函数，在Logistic Regression算法中，通常是将负的Log似然函数作为其损失函数，即the negative log-likelihood （NLL）作为其损失函数，此时，需要计算的是NLL的极小值。损失函数$l_{W,b}$为

此时我们要求解的问题是：

为求解损失函数的lwb的最小值，使用梯度下降的方法进行求解。

梯度下降法

首先计算损失函数对W，b的梯度：

其中，$x_{j}^{(i)}$表示样本$X^{(i)}$的第j个分量，则根据梯度下降法，有以下的参数更新公式：

其中$\alpha$为学习率。

参考文献

[1] Python机器学习算法（赵志勇著 电子工业出版社）
[2] 统计学习方法（李航著 清华大学出版社）