统计学习方法（机器学习）——6、逻辑斯谛回归与最大熵模型

逻辑斯谛回归模型

逻辑斯谛分布

定义 逻辑斯谛分布

        设$X$是连续随机变量，$X$服从逻辑斯谛分布是指$X$有以下分布函数和密度函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}\text{\hspace{1em}(1)}$$
$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}\text{\hspace{1em}(2)}$$
式子中的$\mu$为位置参数，$\gamma >0$为形状参数。
        逻辑斯谛分布的密度函数$f(x)$和分布函数$F(x)$的图形如下所示。分布函数属于逻辑斯谛函数，其图形是一条$S$形曲线，该曲线以点$(\mu ,\frac{1}{2})$为中心对称，即满足
$$F(-x+\mu )-\frac{1}{2}=-F(x-\mu )+\frac{1}{2}$$
曲线在中心附近增长速度较快，在两端增长速度较慢。形状参数$\gamma$的值越小，曲线在中心附近增长的越快。

---

二项逻辑斯谛回归模型

        二项逻辑斯谛回归模型是一种分类模型，由条件概率分布$P(Y|X)$表示，形式为参数化的逻辑斯谛分布。这里，随机变量$X$取值为实数，随机变量$Y$取值为1或0，通过监督学习的方法来估计模型参数。

定义 逻辑斯谛回归模型

        二项逻辑斯谛回归模型是如下的条件概率分布：
$$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}\text{\hspace{1em}(3)}$$
$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}\text{\hspace{1em}(4)}$$
这里，$x\in R^n$是输入， Y ∈ { 0 , 1 } Y\in \{0, 1\} Y∈{ 0,1}是输出，$w\in R^n$ 和 $b\in R$ 是参数，$w$ 称为权值向量，$b$ 称为偏置，$w\cdot x$ 为 $w$ 和 $x$的内积。
        对于给定的输入实例$x$，按照（3）（4）可以求得$P(Y=1|x)$和$P(Y=0|x)$。逻辑斯谛回归比较两个条件概率值的大小，将实例$x$分到概率值较大的那一类。
        有时为了方便，将权值向量和输入向量加以扩充，仍记作$w,x$，即$w=(w^{(1)},w^{(2)},...,w^{(n)},b{)}^T,x=(x^{(1)},x^{(2)},...,x^{(n)},1{)}^T$。这时的逻辑斯谛回归模型如下：
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}\text{\hspace{1em}(5)}$$
$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}\text{\hspace{1em}(6)}$$
        一个事件的几率是指该事件发生的概率于该事件不发生的概率的比值。如果事件发生的概率是$p$，那么该事件的几率是 $\frac{p}{1-p}$ ,该事件的对数几率（log odds）或logit函数是：
$$logit(p)=log\frac{p}{1-p}$$
        对于逻辑斯谛回归而言，由（5）（6）得：
$$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$
也就是说，在逻辑斯谛回归模型中，输出$Y=1$的对数几率是输入$x$的线性函数。或者说，输出$Y=1$的对数几率是由输入$x$的线性函数表示的模型，即逻辑斯谛回归模型。
        考虑对输入$x$进行分类的线性函数$w\cdot x$，其值域为实数域，这里$x\in R^{n+1},w\in R^{n+1}$，通过逻辑斯谛回归模型（5）可以将线性函数$w\cdot x$转换为概率：
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}$$
这时，线性函数$w\cdot x$的值越接近正无穷，概率值越接近1；线性函数的值越接近负无穷，概率值就越接近0，即逻辑斯谛回归模型。

---

模型参数估计

        逻辑斯谛回归模型学习时，对于给定的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中， x i ∈ R n ， y i ∈ { 0 , 1 } x_i\in R^n，y_i\in \{0, 1\} xi​∈Rn，yi​∈{ 0,1}，可以用极大似然估计法估计模型参数，从而得到逻辑斯谛回归模型。
        设
$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$
似然函数为
$$\prod _{i=1}^N{\left[\pi (x_i)\right]}^{y_i}{\left[1-\pi (x_i)\right]}^{1-y_i}$$
对数似然函数为
$$\begin{gathered} L(w)=\sum _{i=1}^N\left[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))\right] \\ =\sum _{i=1}^N\left[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))\right] \\ =\sum _{i=1}^N\left[y_i(w\cdot x)-log(1+exp(w\cdot x))\right] \end{gathered}$$
对$L(w)$求极大值，得到$w$的估计值。
        这样，问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中常用的方法是梯度下降法和拟牛顿法。
假设$w$的极大似然估计值是$\hat{w}$，那么学到的逻辑斯谛回归模型为：
$$P(Y=1|x)=\frac{exp(\hat{w}\cdot x)}{1+exp(\hat{w}\cdot x)}$$
$$P(Y=0|x)=\frac{1}{1+exp(\hat{w}\cdot x)}$$

---

多项逻辑斯谛回归

        可以将二项分类模型推广到多项逻辑斯谛回归模型，用于多类分类。假设离散型随机变量$Y$的取值集合是 { 1 , 2 , . . . , K } \{1, 2, ..., K\} { 1,2,...,K}，多项逻辑斯谛回归模型是：
P ( Y =