逻辑回归和多项逻辑回归

---

一、逻辑回归

逻辑回归模型

逻辑回归(Logistic Regression)是统计中经典的二分类算法，逻辑回归模型如下：
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}\text{\hspace{1em}(1)}$$

$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}\text{\hspace{1em}(2)}$$

其中，输入 x = { x ( 1 ) , x ( 2 ) , . . . , x ( n ) , 1 } x=\{x^{(1)},x^{(2)},...,x^{(n)},1\} x={x(1),x(2),...,x(n),1}，输出$Y\in [0,1]$， w = { w ( 1 ) , w ( 2 ) , . . . , w ( n ) , b } w=\{w^{(1)},w^{(2)},...,w^{(n)},b\} w={w(1),w(2),...,w(n),b}。对于给定的$x$，可以求条件概率$P(Y=1|x)$和$P(Y=0|x)$的值，逻辑回归比较两个结果的大小，将$x$分到概率值较大的一类。

将上面的（1）式进行变换有
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}=\frac{1}{1+exp(-w\cdot x)}\text{\hspace{1em}(3)}$$
从（3）可以看出逻辑回归就是在线性回归的基础上加了个$sigmoid$函数($f(x)=\frac{1}{1+e^{-x}}$)

几率(odds)：指该事件发生的概率与该事件不发生的概率的比值，即$odds=\frac{p}{1-p}$，其中$p$为事件发生的概率。该事件的对数几率或$logit$函数是：
$$logit(p)=log\frac{p}{1-p}\text{\hspace{1em}(4)}$$
将逻辑回归模型的公式（1）和（2）带入（4）可得
$$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=log\frac{P(Y=1|x)}{P(Y=0|x)}=w\cdot x\text{\hspace{1em}(5)}$$
从式（5）可以看出，在逻辑回归模型中，$Y=1$的对数几率是关于$x$的线性函数。

也就是说在线性回归模型中，输出$Y$是关于输入$x$的线性模型，在逻辑回归模型中输出$Y$的几率是关于$x$的线性模型。

线性函数$w\cdot x$的值域为实数域，通过式（1）将线性函数转换为概率，$w\cdot x$的值越大概率值就越接近1，$w\cdot x$的值越小概率值就越接近0。

极大似然估计法求w

给定数据集 T = { ( x 1 , y 1 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),...,(x_N,y_N)\} T={(x1​,y1​),...,(xN​,yN​)}，令$P(Y=1|x)=p(x)$，利用极大似然估计求解模型参数$w$，似然函数为：
$$L(w)=\prod _{i=1}^N[p(x_i){]}^{y_i}[1-p(x_i){]}^{1-y_i}\text{\hspace{1em}(6)}$$
对数似然函数为：
$$\begin{gathered} logL(w)=\sum _{i=1}^N[y_{i}logp(x_i)+(1-y_i)log(1-p(x_i))] \\ =\sum _{i=1}^N[y_{i}log\frac{p(x_i)}{1-p(x_i)}+log(1-p(x_i))] \\ =\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i))]\text{\hspace{1em}(7)} \end{gathered}$$
求解$logL(w)$的极大值，得到$w$的估计值。

损失函数

损失函数一般是越小越好，所以取负对数似然，防止求和之后数值过大，再取个平均，损失函数如下：
$$\begin{gathered} \underset{w}{\min }J(w)=-\frac{1}{N}logL(w)=-\frac{1}{N}\sum _{i=1}^N[y_{i}logp(x_i)+(1-y_i)log(1-p(x_i))] \\ =-\frac{1}{N}\sum _{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i))]\text{\hspace{1em}(8)} \end{gathered}$$

梯度下降求解w

有了损失函数，采用梯度下降算法求参数$w$：
$$\begin{gathered} \nabla J(w)=\frac{\partial J(w)}{\partial w} \\ w=w-\alpha \nabla J(w)\text{\hspace{1em}(9)} \end{gathered}$$

二、多项逻辑回归

上面说的逻辑回归适用于二分类，如果遇到多分类任务就要用到多项逻辑回归。

假设因变量 Y ∈ { 1 , 2 , . . . , K } Y\in\{1,2,...,K\} Y∈{1,2,...,K}，那么多项逻辑回归模型为：
$$\begin{gathered} P(Y=k|x)=\frac{exp(w_k\cdot x)}{1+{\sum }_{j=1}^{K-1}exp(w_j\cdot x)},k\in 1,...,K-1 \\ P(Y=K|x)=\frac{1}{1+{\sum }_{j=1}^{K-1}exp(w_j\cdot x)}\text{\hspace{1em}(10)} \end{gathered}$$
其中，$x\in R^{n+1},w_j,w_k\in R^{n+1}$。其实多项逻辑回归就是把逻辑回归中的$sigmoid$函数换成了$softmax$，多项逻辑回归可以表示为：
$$p(Y=k|x)=\frac{exp(w_k\cdot x)}{{\sum }_{j=1}^{K}exp(w_j\cdot x)},k\in 1,...,K\text{\hspace{1em}(11)}$$
当$j=K$时，$exp(w_K\cdot x)=1$，就是（10）式了。

多项逻辑回归实际上是二分类逻辑回归在多标签分类下的一种拓展。

三、问题

1.逻辑回归如何处理多标签问题？

若某个样本属于多个标签，可以训练$k$个二分类的逻辑回归分类器。第$i$个分类器用以区分每个样本是否可以归为第$i$类，训练该分类器时，需要把标签重新整理为“第$i$类标签”与“非第$i$类标签”两类。通过这样的办法，就解决了每个样本可能拥有多个标签的情况。

2.为什么不用平方误差（MSE）作为Logistic回归的损失函数？

逻辑回归引入softmax函数，使输出值与模型参数之间的关系不再是线性关系。此时如果选择与线性回归一样的平方损失函数，就会导致cost function可能是非凸函数。对于非凸函数进行梯度下降法，会导致陷入局部最优情况。选择对数损失函数，会使这个函数变成凸函数。