【统计机器学习】逻辑回归

1. 逻辑斯蒂分布

首先介绍逻辑斯蒂分布(logistic distribution)。

设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：
$F(x)=P(X⩽x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$
$f(x)=F‘(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$
其中，$\mu$为位置函数，$\gamma$为形状参数

图形如下所示。分布函数属于逻辑斯蒂函数。以点($\mu ,\frac{1}{2}$)为中心对称。

2.二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一类分类模型。由条件概率分布P(Y|X)表示。这里，随机变量X取值为实数，Y取值为0或1。通过监督学习的方式来估计模型参数

逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是如下的概率分布：

$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$
$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}$

这里$xϵR^n$是输入，$Yϵ[0,1]$是输出。$\omega ϵR^n$和$bϵR$是参数。$\omega$是权重，b是偏置

逻辑斯蒂回归模型是比较$P(Y=1|x)$和$P(Y=0|x)$的大小，将实例x分到概率值较大的那一个

所以我们需要做的是给定训练集{x,y}，去学习到其中的$\omega$和b参数

有时为了方便，将权值向量$\omega$和输入向量x进行扩充,把偏置量b表示成统一的形式。
即$\omega =({\omega }^{(1)},{\omega }^{(2)},...,{\omega }^{(n)},b{)}^T$,$x=(x^{(1)},x^{(2)},...x^{(n)},1{)}^T$，这时逻辑斯蒂回归模型如下：

$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$
$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}$

对数几率函数

现在说明逻辑斯蒂回归模型的特点：一个事件的几率(odds)是指该事件发生的概率p与该事件不发生的概率(1-p)的比值。表示成

$logit(p)=log\frac{p}{1-p}$

代入逻辑斯蒂回归得到：

$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=\omega \cdot x$

这说明在逻辑斯蒂回归模型，输出Y的对数几率是输入x的线性模型(或者x的线性函数表示的函数)。其中线性函数的值越接近正无穷，概率越接近1。线性函数的值越接近负无穷，概率越接近0。

模型参数估计

逻辑斯蒂回归模型在学习的时候，给定训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } , x ϵ R N , y ϵ { 0 , 1 } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x\epsilon R^N,y\epsilon\{0,1\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},xϵRN,yϵ{0,1}。可以应用极大似然估计法来估计模型参数$\omega$，得到逻辑斯蒂回归模型。

设
$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$

似然函数为
${\prod }_{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$

对数似然函数为
$$\begin{gathered} L(w)={\sum }_{i=1}^N{y}_i\log (\pi (x_i))+(1-y_i)\log (1-\pi (x_i)) \\ ={\sum }_{i=1}^N{y}_i\log (\pi (x_i))-y_i\log (1-\pi (x_i))+\log (1-\pi (x_i)) \\ ={\sum }_{i=1}^N{y}_i\log \frac{\pi (x_i)}{1-\pi (x_i)}+\log (1-\pi (x_i)) \\ ={\sum }_{i=1}^N{y}_i(\omega \cdot x_i)-\log (1+exp(\omega \cdot x)) \end{gathered}$$

对$L(w)$进行求极大值，就得到了$\omega$的估计值

这样问题就转变为了对以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归通常采用梯度下降法和拟牛顿法。

补充
这里对上面的$\log (1-\pi (x_i))$进行补充说明

由
$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=\omega \cdot x$
可知
$$\begin{gathered} \log \frac{\pi (x_i)}{1-\pi (x_i)}=\omega \cdot x\Rightarrow \\ \frac{\pi (x_i)}{1-\pi (x_i)}=exp(\omega \cdot x)\Rightarrow \frac{1}{1-\pi (x_i)}=exp(\omega \cdot x)+1\Rightarrow 1-\pi (x_i)=\frac{1}{exp(\omega \cdot x)+1}\Rightarrow \log (1-\pi (x_i))=-\log (1+exp(\omega \cdot x)) \end{gathered}$$