统计学习方法第6章逻辑斯蒂回归

逻辑斯蒂回归是一种分类方法。

逻辑斯蒂分布

设X是随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数
分布函数$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$
密度函数$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$

逻辑斯蒂回归是一个分类算法，这个算法的输出在0到1之间。
具体做法是，利用sigmoid函数，将每一个点映射到（0,1）之间。如果是用作二分类，则大于0.5可以判定为正类，小于0.，5可以判定为负类。

二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑斯蒂分布。
$P(Y=1|x)=\frac{exp(w\ast x+b)}{1+exp(w\ast x+b)}$
$P(Y=0|x)=\frac{1}{1+exp(w\ast x+b)}$
w为权值向量，b为偏置。$x\in R^n$是输入， Y ∈ { 0 , 1 } Y \in \{0,1\} Y∈{0,1}为输出。
根据上面两个式子可以求得$P(Y=1|x)和P(Y=0|x)$，比较两个条件概率的大小，将实例x分到概率值较大的一类。
有时为了方便，将权值和输入向量进行扩充，仍记做w，x，
即$w=(w^{(1)},w^{(2)},\dots ,w^{(n)},b),x=(x^{(1)},x^{(2)},\dots ,x^{(n)},1)$
则有 $P(Y=1|x)=\frac{exp(w\ast x)}{1+exp(w\ast x)}$
$P(Y=0|x)=\frac{1}{1+exp(w\ast x)}$
一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。
如果事件发生的概率为p，那么该事件的几率为p/1-p，该事件的对数几率或logit函数是
$logit(p)=log\frac{p}{1-p}=log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\ast x$

参数模型估计

对于给定的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},其中, x i ∈ R n , y i ∈ { 0 , 1 } x_i \in R_n,y_i \in \{0,1\} xi​∈Rn​,yi​∈{0,1},可以应用极大似然估计法估计模型参数。
设$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$
似然函数为${\prod }_{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$
对两边求对数，则对数似然函数为
$L(w)={\sum }_{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]$
$={\sum }_{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]$
$={\sum }_{i=1}^N[y_i(w\ast x_i)-log(1+exp(w\ast x_i)]$
对L(w)求极大值，得到w的估计值。通常采用梯度下降法及拟牛顿法。
假设w的极大似然估计值是$\hat{w}$,那么学到的逻辑斯蒂回归模型为
$P(Y=1|x)=\frac{exp(\hat{w}\ast x)}{1+exp(\hat{w}\ast x)}$
$P(Y=0|x)=\frac{1}{1+exp(\hat{w}\ast x)}$

多项式逻辑斯蒂回归

假设离散型随机变量Y的取值集合是{1,2，…，K}，那么多项逻辑斯蒂回归模型是
$P(Y=k|x)=\frac{exp(w_k\ast x)}{1+{\sum }_{k=1}^{K-1}exp(w_k\ast x)},K=1,2,\dots ,K-1$
$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}exp(w_k\ast x)}$