Logistic回归与Softmax回归

Logistic回归和Softmax回归属于机器学习和深度学习中比较经典和基础的两个算法，许多优秀的模型中都使用到了这两个算法。所以这周打算整理和介绍一下Logistic回归和Softmax回归。

线性回归

既然这两个算法中都有“回归”二字，因此我们有必要先复习一下回归(regression)问题。回归问题的形象表述如下，假设我们有一批带标记的样本数据 { ( x ( 1 ) , y ( 1 ) ) , . . . , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\} {(x(1),y(1)),...,(x(m),y(m))}，其中$x^{(i)}\in R^{m+1}$是$m+1$维特征向量($x_0^{(i)}=1$表示偏置项)；$y^{(i)}\in R$是特征向量$x^{(i)}$对应的目标值。我们期望找到一个函数：$y=h(x)$使得$y^{(i)}\approx h(x^{(i)})$对每个样本数据都成立，这就是回归问题的目标。当然$h(x)$可以选择很多种类型，从方便计算的角度，我们通常选择线性函数类
$$h_{\theta }(x)=\sum _j{\theta }_j{x}_j={\theta }^{T}x$$

表示我们的目标函数，$\theta$表示函数$h_{\theta }(x)$依赖参数$\theta$，从而得到了线性回归(Linear Regression)。为了找到最优参数$\theta$，循着我们的目标，我们定义目标值$y^{(i)}$与预测值$h_{\theta }(x^{(i)})$之间的误差为损失函数，并使之最小化。通常我们采用梯度下降法，在参数上迭代寻找最优参数。
线性回归虽然简单，但是它是许多复杂算法的基础，甚至可以认为线性回归是机器学习任务的本质，比如神经网络也是对线性值的处理组合等。

Logistic回归

Logistic回归的样本数据集同样可以表示为 { ( x ( 1 ) , y ( 1 ) ) , . . . , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\} {(x(1),y(1)),...,(x(m),y(m))}，其中$x^{(i)}\in R^{m+1}$是$m+1$维特征向量($x_0^{(i)}=1$表示偏置项)；但是 y ( i ) ∈ { 0 , 1 } y^{(i)}\in \{0,1\} y(i)∈{0,1}只取二值。因此Logistic回归是针对二分类问题的算法。因此我们需要对目标函数$y=h_{\theta }(x)$稍作修改，将预测值改为，预测属于“1”类或“0”类的概率。
$$\begin{gathered} p(y=1|x)=h_{\theta }(x)=\frac{1}{1+exp(-{\theta }^{T}x)}=\sigma ({\theta }^{T}x) \\ p(y=0|x)=1-p(y=1|x)=1-h_{\theta }(x) \end{gathered}$$

可以看到Logistic回归只是在线性回归的结果值外面套了一层Sigmoid函数，将${\theta }^{T}x$的值压缩到[0,1]区间，将其解释为概率(并非真正的随机性概率)。因此我们希望选择的参数$\theta$，当样本$x$属于类“1”时，$p(y=1|x)=h_{\theta }(x)$尽可能大；当样本$x$属于类“0”时，$p(y=0|x)=1-h_{\theta }(x)$尽可能大。
观察上面的两个概率函数，我们可以将其更加简洁的表示为一个函数：
$$p(y|x;\theta )=(h_{\theta }(x){)}^y\cdot (1-h_{\theta }(x){)}^{1-y}$$

所以当我们有我们有$m$个相互独立的训练样本时，我们期望$m$个样本的概率预测值的连乘积尽可能大，我们称这个函数为似然函数$L(\theta )$
$$L(\theta )={\Pi }_{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )={\Pi }_{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}\cdot (1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}$$

似然函数的并不易求解，通常我们在其外面套一个单调递减的函数$-log(x)$，当$-log(L(\theta ))$取得极小值时，$L(\theta )$同时就取得了极大值。我们称这个此时的目标函数为负对数似然函数$J(\theta )$
J ( θ ) = − l o g ( L ( θ ) ) = − ∑ i = 1 m { y ( i ) l o g ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) } J(\theta)=-log(L(\theta))=-\sum_{i=1}^m\{y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))\} J(θ)=−log(L(θ))=−i=1∑m​{y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))}

同样我们可以利用梯度下降算法来迭代寻找最佳参数$\theta$。

Softmax回归

Softmax也是用来解决分类问题的，不过Softmax是用来解决多分类问题的(分类类别多于二类)。所以Softmax回归的样本数据集同样可以表示为 { ( x ( 1 ) , y ( 1 ) ) , . . . , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\} {(x(1),y(1)),...,(x(m),y(m))}，其中$x^{(i)}\in R^m$是$m$维特征向量；但是 y ( i ) ∈ { 1 , 2 , . . . , K } y^{(i)}\in \{1,2,...,K\} y(i)∈{1,2,...,K}有$k$种类别取值可能。
因此当给定一个$x^{(i)}$时，我们想计算出$y^{(i)}$属于每一个类别$j$的概率$p(y^{(i)}=j|x;\theta )$，因此我们需要$k$个线性回归函数并将其值压缩到区间[0,1]，所以此时的$h_{\theta }(x)$输出是一个$k$维向量(向量所有元素之和为1)。具体的，我们可以将$h_{\theta }(x)$表示如下：
$$h_{\theta }(x)=\left[\begin{array}{c}p(y=1|x;\theta )\\ p(y=2|x;\theta )\\ ⋮\\ p(y=K|x;\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^{K}exp({\theta }_j^T(x))}\left[\begin{array}{c}exp({\theta }_1^T(x))\\ exp({\theta }_2^T(x))\\ ⋮\\ exp({\theta }_K^T(x))\end{array}\right]$$

其中，${\theta }_j\in R^{n+1}(j=1,2,...,K)$表示每一个线性回归函数的参数。$\frac{1}{{\sum }_{j=1}^{K}exp({\theta }_j^T(x))}$用来对概率分布进行归一化，使得概率之和等于1。
为了将$h_{\theta }(x)$的形式与上面的线性回归和Logistic回归统一，我们可以将$\theta$写成矩阵的形式：
$$\begin{gathered} \theta =\left[\begin{array}{cccc}|& |& |& |\\ {\theta }_1& {\theta }_2& \cdots & {\theta }_K\\ |& |& |& |\end{array}\right]\Rightarrow {\theta }^T=\left[\begin{array}{ccc}\text{——}& {\theta }_1^T& \text{——}\\ \text{——}& {\theta }_2^T& \text{——}\\ \text{——}& \cdots & \text{——}\\ \text{——}& {\theta }_K^T& \text{——}\end{array}\right] \\ \Downarrow \\ {h}_{\theta }(x)=softmax({\theta }^{T}x) \end{gathered}$$

下面需要定义softmax回归的代价函数，为了方便表述，函数记号 1 { ⋅ } 1\{\cdot\} 1{⋅}表示示性函数，其取值规则如下：
{ 1 { 表 达 式 值 为 真 } = 1 1 { 表 达 式 值 为 假 } = 0 \begin{cases} 1\{表达式值为真\}=1\\ 1\{表达式值为假\}=0 \end{cases} {1{表达式值为真}=11{表达式值为假}=0​

同样的我们希望概率似然函数的值尽可能大
max ⁡ θ J ( θ ) = Π i = 1 m Π k = 1 K ( s o f t m a x ( θ k T x ( i ) ) ) 1 { y ( i ) = k } \max_\theta \quad J(\theta)=\Pi_{i=1}^m\Pi_{k=1}^K(softmax(\theta_k^Tx^{(i)}))^{1\{y^{(i)}=k\}} θmax​J(θ)=Πi=1m​Πk=1K​(softmax(θkT​x(i)))1{y(i)=k}

在外面套上$-log(x)$函数，经过化简得
min ⁡ θ J ( θ ) = − ∑ i = 1 m ∑ k = 1 K 1 { y ( i ) = k } l o g ( s o f t m a x ( θ k T x ( i ) ) ) \min_\theta \quad J(\theta)=-\sum_{i=1}^m\sum_{k=1}^K1\{y^{(i)}=k\}log(softmax(\theta_k^Tx^{(i)})) θmin​J(θ)=−i=1∑m​k=1∑K​1{y(i)=k}log(softmax(θkT​x(i)))

采用梯度下降法，迭代求解$J(\theta )$的极小值。
∂ J ( θ ) ∂ θ l t = − ∂ ∂ θ l t { ∑ i = 1 m ∑ k = 1 K 1 { y ( i ) = k } l o g e x p ( θ l T x ( i ) ) ∑ j = 1 K e x p ( θ j T x ( i ) ) } = − ∑ i = 1 m ∑ k = 1 K ∂ ∂ θ l t ( 1 { y ( i ) = k } l o g e x p ( θ l T x ( i ) ) ∑ j = 1 K e x p ( θ j T x ( i ) ) ) = − ∑ i = 1 m ∑ k = 1 K ∂ ∂ θ l t ( 1 { y ( i ) = k } ( θ l T x ( i ) − l o g ( ∑ j = 1 K e x p ( θ j T x ( i ) ) ) ) = − ∑ i = 1 m ∑ k = 1 K ∂ ∂ θ l t ( 1 { y ( i ) = k } ( θ l T x ( i ) ) ) − ∂ ∂ θ l t ( 1 { y ( i ) = k } l o g ( ∑ j = 1 K e x p ( θ j T x ( i ) ) ) ) = − ∑ i = 1 m ( ( 1 { y ( i ) = l } ⋅ x t ( i ) ) − ( p ( y ( i ) = l ∣ x ( i ) ; θ ) ⋅ x t ( i ) ) ) = − ∑ i = 1 m x t ( i ) ⋅ ( 1 { y ( i ) = l } − p ( y ( i ) = l ∣ x ( i ) ; θ ) ) \begin{aligned} \frac{\partial J(\theta)}{\partial \theta_{lt}} =& -\frac{\partial}{\partial\theta_{lt}} \{ \sum_{i=1}^m\sum_{k=1}^K1\{y^{(i)}=k\}log\frac{exp(\theta_l^Tx^{(i)})}{\sum_{j=1}^Kexp(\theta_j^Tx^{(i)})} \}\\ =& -\sum_{i=1}^m\sum_{k=1}^K\frac{\partial }{\partial \theta_{lt}}\bigg(1\{y^{(i)}=k\}log\frac{exp(\theta_l^Tx^{(i)})}{\sum_{j=1}^Kexp(\theta_j^Tx^{(i)})}\bigg)\\ =& -\sum_{i=1}^m\sum_{k=1}^K\frac{\partial}{\partial \theta_{lt}}\bigg(1\{y^{(i)}=k\}\big(\theta_l^Tx^{(i)}-log(\sum_{j=1}^Kexp(\theta_j^Tx^{(i)})\big)\bigg)\\ =& -\sum_{i=1}^m\sum_{k=1}^K\frac{\partial}{\partial \theta_{lt}}\big(1\{y^{(i)}=k\}(\theta_l^Tx^{(i)})\big) -\frac{\partial}{\partial \theta_{lt}}\bigg(1\{y^{(i)}=k\}log\big(\sum_{j=1}^Kexp(\theta_j^Tx^{(i)})\big)\bigg)\\ =& -\sum_{i=1}^m\bigg(\big(1\{y^{(i)}=l\}\cdot x_t^{(i)}\big)-\big(p(y^{(i)}=l|x^{(i)};\theta)\cdot x_t^{(i)}\big)\bigg)\\ =& -\sum_{i=1}^m x_t^{(i)}\cdot \big(1\{y^{(i)}=l\}-p(y^{(i)}=l|x^{(i)};\theta)\big) \end{aligned} ∂θlt​∂J(θ)​======​−∂θlt​∂​{i=1∑m​k=1∑K​1{y(i)=k}log∑j=1K​exp(θjT​x(i))exp(θlT​x(i))​}−i=1∑m​k=1∑K​∂θlt​∂​(1{y(i)=k}log∑j=1K​exp(θjT​x(i))exp(θlT​x(i))​)−i=1∑m​k=1∑K​∂θlt​∂​(1{y(i)=k}(θlT​x(i)−log(j=1∑K​exp(θjT​x(i))))−i=1∑m​k=1∑K​∂θlt​∂​(1{y(i)=k}(θlT​x(i)))−∂θlt​∂​(1{y(i)=k}log(j=1∑K​exp(θjT​x(i))))−i=1∑m​((1{y(i)=l}⋅xt(i)​)−(p(y(i)=l∣x(i);θ)⋅xt(i)​))−i=1∑m​xt(i)​⋅(1{y(i)=l}−p(y(i)=l∣x(i);θ))​

将所有上式写成向量的形式有
∇ θ j J ( θ ) = − ∑ i = 1 m x ( i ) ⋅ ( 1 { y ( i ) = l } − p ( y ( i ) = l ∣ x ( i ) ; θ ) ) \nabla_{\theta_j}J(\theta)=-\sum_{i=1}^mx^{(i)}\cdot \big(1\{y^{(i)}=l\}-p(y^{(i)}=l|x^{(i)};\theta)\big) ∇θj​​J(θ)=−i=1∑m​x(i)⋅(1{y(i)=l}−p(y(i)=l∣x(i);θ))

Softmax回归之所以要取指数，第一是为了契合max，使大的更大，这样就能从错误中快速学习；同时指数函数也方便求导。
经过上面的推导，我们可以发现，当类别数$k=2$时，Softmax回归退化为Logistic回归。所以Logistic回归是Softmax回归的一种特殊情况。
既然Softmax回归是一种多分类算法，那实际应用中，我们是选择Softmax分类器，还是构造$k$个独立的Logistic二分类器呢？通常情况下，这取决于分类类别是否互斥，如果互斥，我们一般采用Softmax回归；如果分类类别不是互斥的，一般采用$k$个Logistic回归分类器更为合适。这样，对于每个类别，我们的算法可以分别判断它是否属于各个类别。

参考文献

ufldl-Softmax回归