统计学习方法（三）--逻辑回归（Logistic Regression）理解

逻辑回归

逻辑回归是一种经典的分类方法，属于判别模型。

逻辑斯蒂分布

设$X$是连续随机变量，$X$服从逻辑斯蒂分布是指$X$具有以下分布函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-x}}$$
分布函数$F(x)$又可称为Sigmoid函数，函数图形如下图所示：

二项逻辑回归模型

二项逻辑回归模型是一种分类模型，由条件概率分布$P(Y|X)$表示。随机变量$X$取值为实数，随机变量Y取值为1或0。

二项逻辑回归模型的条件概率分布：
$$P_1=P(Y=1|X)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}$$
$$P_0=P(Y=0|X)=\frac{1}{1+\exp (w\cdot x+b)}$$
逻辑回归比较两个条件概率值的大小，将实例$x$分类到概率值较大的那一类。
综合以上条件概率分布可将模型表示为以下函数：
$$P(Y|X)=P_1{P}_0=P(Y=1|X{)}^{Y}P(Y=0|X{)}^{1-Y}$$
通过逻辑回归模型可以将线性函数$w\cdot x$转换为概率，线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0.

模型参数估计

逻辑回归模型学习时，可以应用极大似然估计法估计模型参数，从而得到逻辑回归模型。假设$w$的极大似然估计是$\hat{w}$，且数据样本之间是独立同分布的，故有
$$\begin{array}{rl}\hat{w}& =\underset{w}{\mathrm{argmax}}\log P(Y|X)\\ & =\underset{w}{\mathrm{argmax}}\log \prod _{i=1}^{N}P(y_i|x_i)(独立同分布)\\ & =\underset{w}{\mathrm{argmax}}\sum _{i=1}^N\log P(y_i|x_i)\\ & =\underset{w}{\mathrm{argmax}}\sum _{i=1}^N(y_i\log P_1+(1-y_i)\log P_0)\end{array}$$
这样问题就变成了对数似然函数为目标函数的最优化问题。逻辑回归学习中通常采用的方法是梯度下降法及拟牛顿法。

多项逻辑回归

可将二项的逻辑回归模型推广到多项逻辑回归模型，用于多项分类。假设离散型随机变量Y的取值集合是$1,2,\cdots ,K$，那么多项逻辑回归模型是：
$$P(Y=k|X)=\frac{\exp (w_k\cdot x)}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)},k=1,2,\cdots ,K-1$$
$$P(Y=K|X)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp (w_k\cdot x)}$$
二项逻辑回归的参数估计法也可推广到多项逻辑回归。