逻辑回归 Logistic Regression

介绍

逻辑回归（Logistic Regression）是机器学习中一种应用非常广泛的分类预测算法，而且足够简单。工业中广泛应用LR算法，例如CTR预估，推荐系统等。逻辑回归模型的预测函数为：
$$h_{w,b}(x)=\frac{1}{1+e^{-(w^{\mathrm{T}}x+b)}}$$
其中$w,b$为模型参数。

Sigmoid函数

首先$f(x)=sigmoid(x)=\frac{1}{1+e^{-x}}$的定义域为$R$，值域为$(0,1)$，两端不可取。$sigmoid(x)$关于点（0,$\frac{1}{2}$）对称。其函数图为：

而且非常重要的一点，$sigmoid(x{)}^{\prime }=sigmoid(x)(1-sigmoid(x))$。

LR模型

考虑二分类任务， y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}，有：
$$P(y=1|x;w,b)=\frac{e^{(w^{\mathrm{T}}x+b)}}{1+e^{(w^{\mathrm{T}}x+b)}}$$
$$P(y=0|x;w,b)=\frac{1}{1+e^{(w^{\mathrm{T}}x+b)}}$$
考虑到w是一个向量，我们令$\Theta =(w_1,w_2,w_3,w_4,...,b)$，表示的是样本每一个属性$x_j$的权重。相应的，$\mathbf{x}=(x_1,x_2,x_3,x_4,...,1)$，则模型预测函数可以改写成：
$$h_{\theta }(x)=\frac{1}{1+e^{-({\Theta }^{\mathrm{T}}\mathbf{x})}}$$
然后，我们用极大似然估计法来估计模型参数$\Theta$，有：
$$L(\Theta )=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))$$
则我们的优化目标是找到能使目标函数最小的参数：
$$\hat{\Theta }=\mathrm{argmin}L(\Theta )$$

参数估计

LR的目标函数是关于$\Theta$的凸函数，并且连续可导，这里可以采用梯度下降来求解其最优解：
$$\frac{\partial L(\Theta )}{\partial {\Theta }_j}=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^{(i)})})\frac{\partial h_{\theta }(x^{(i)})}{\partial {\Theta }_j}=-\frac{1}{m}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x_j$$
则每次梯度下降更新参数：
$${\Theta }_j={\Theta }_j+\frac{1}{m}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x_j$$