Softmax Regression

Softmax Regression

1. 问题引出

mnist dataset   对于一个手写字体图片识别的任务，人类可以轻而易举的完成，但如果编写一个代码来完成这个任务绝非易事。

2. 机器学习

  假设有一种程序能够提取数字的特征，抽象出数据的模型，并能够进行很好的总结，再用其对手写数字进行预测，那么应该就能获得很好的效果。但再次之前，必定需要准备大量标注好的图片对其进行训练，这种方式被称为监督学习。而这种先通过学习获取到较优的模型的方法被称为机器学习。
机器学习的三种主要成分是：

1. 假设类 ：程序将输入数据映射到输出的方式，输出一般为类标签对应的概率。例如手写字体识别任务，输出应当为0-9这十个数字分别对应的概率。一般也被称为模型。
2. 损失函数：它描述了一个具体的假设类在对应任务中的错误程度。因此学习的目标可以是使得这种错误尽可能的小。
3. 优化方法：通过训练集将损失函数优化，即寻找损失函数的全局最优解的方法。但一般寻找全局最优解是非常困难的，我们只能够去不断逼近全局最优解。

3. 多分类任务

3.1 假设类

  考虑一个多分类任务例如手写字体识别。对于训练集我们有：
x ( i ) ∈ R n , y ( i ) ∈ { 1 , . . . , k } , i = 1 , . . . m x^{(i)} \in R^n, y^{(i)} \in \{1,..., k\}, i=1,...m x(i)∈Rn,y(i)∈{1,...,k},i=1,...m
  其中$n$表示输入数据的维度， $k$表示不同标签的数量$m$表示训练数据的数量。
以MNIST数据集为例：

$n=28\times 28=784$
$k=10$
$m=60000$

  因此这里的假设类就是将输入$x\in R^n$映射为$k$维的向量：
$$h:R^n\to R^k$$
  一种操作是利用矩阵操作进行映射，即：
$$h_{\theta }(x)={\theta }^{T}x$$
其中$\theta \in R^{n\times k}$

3.2 损失函数

  一种最简单的损失函数的形式是，若模型预测与标签一致，那么损失函数的值为0， 否则为1：
$$los{s}_{err}(h(x),y)=\{\begin{array}{c}0，ifargma{x}_i{h}_i(x)=y\\ 1，otherwise\end{array}$$
  虽然其能够用来评价模型的质量，但是由于这种函数不可微分，因此在无法对模型参数进行优化，我们应当选择别的函数形式。

最大熵原理

  这个原理认为，在学习概率模型时，在所有可能的概率模型中，熵最大的模型就是最好的模型。通常用约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
  对于单个离散的变量$x$,，其概率分布为$P(x)$，则其熵为：
$$H(p)=-logp(x)$$

  
  根据上面的最大熵原理，我们可以得到一个新的损失函数。
  首先我们将假设类的输出转化为概率形式，对其进行指数归一化：
$$z_i=p(label=i)=\frac{exp(h(x_i))}{{\sum }_{j=1}^{k}exp(h(x_j))}\iff normalize(h(x))$$
  则其损失函数为：
$$l_{ce}(h(x),y)=-logp(label=y)=-h_y(x)+log\sum _{j=1}^{k}exp(h_j(x))$$
  这种函数被称为softmax损失函数或者cross entropy损失函数。

3.3 优化方法

  在给定的数据集上，我们的目标是寻找到合适的参数$\theta$，使得损失函数的平均值最小，即：
$$\underset{\theta }{\mathrm{minimize}}\frac{1}{m}\sum _{i=1}^m{l}_{ce}({\theta }^T{x}^{(i)},y^i)$$
  对于一个矩阵形式的输入以及一个输出函数$f$，梯度被定义为输出函数对于每个参数的偏导数所构成的矩阵：
$${▽}_{\theta }f(\theta )\in R^{n\times k}=\left[\begin{array}{ccc}\frac{\partial f}{\partial {\theta }_{11}}& ...& \frac{\partial f}{\partial {\theta }_{1k}}\\ ...& ...& ...\\ \frac{\partial f}{\partial {\theta }_{n1}}& ...& \frac{\partial f}{\partial {\theta }_{nk}}\end{array}\right]$$
   梯度总是指向函数$f$增长最快的方向。
  因此在损失函数函数中，我们顺着梯度相反的方向按一定的步长去更新参数$\theta$，就可以逐渐逼近函数最优解。
$$\theta :=\theta -\alpha {▽}_{\theta }f(\theta )$$
  其中$\alpha >0$是步长，也被称为学习率。

   由上图可以看出，当学习率过于小时，参数以非常慢的速度去逼近最优，但学习率过于大时，参数会在空间中反复震荡，并可能错过最优解的情况。因此应当选取合适大小的学习率。

梯度计算（以softmax为例）

   回顾softmax的公式:
$$l_{ce}(h,y)=-h_y+log\sum _{j=1}^{k}exp{h}_j$$

  因此对于$h_i$，有：
∂ l c e ( h , y ) ∂ h i = ∂ ∂ h i ( − h y + l o g ∑ j = 1 k e x p ( h j ) ) = − 1 { i = y } + e x p   h i ∑ j = 1 k e x p   h j = z − e y \frac{\partial l_{ce}(h, y)}{\partial h_i}=\frac{\partial}{\partial h_i}(-h_y+log{\sum_{j=1}^kexp(h_j)}) \\ =-1\{i=y\}+\frac{exp\,h_i}{\sum_{j=1}^kexp\, h_j}=z-e_y ∂hi​∂lce​(h,y)​=∂hi​∂​(−hy​+logj=1∑k​exp(hj​))=−1{i=y}+∑j=1k​exphj​exphi​​=z−ey​

  其中$z$为对$h$做softmax的结果，$e_y$为将$y$的值作为索引生成的单位矩阵。

  那么对于参数$\theta$，可以通过链式运算得到，由于：
$$h={\theta }^{T}x$$

  那么
$$\frac{\partial }{\partial \theta }(l_{ce}({\theta }^{T}x,y))=\frac{\partial (l_{ce}({\theta }^{T}x,y))}{\partial {\theta }^{T}x}\frac{\partial {\theta }^{T}x}{\partial \theta }=(z-e_y)x$$

  其中：
  $x$为单个样本，因此$x\in R^{n\times 1};$
  $z$为参数归一化的结果，因此其维度与${\theta }^{T}x$相同，由于$\theta \in R^{n\times k}$，因此$z\in R^{k\times 1}$。
  由于$\theta$偏导数的维度与其本身的维度一致，为了使得维度统一，最终的梯度更新公式为：
$${▽}_{\theta }{l}_{ce}({\theta }^{T}x,y)\in R^{n\times k}=x(z-e_y{)}^T$$

  同样的对于整个样本集，梯度计算公式为：
$$\frac{\partial }{\partial \theta }(l_{ce}(X\theta ,y))=\frac{\partial (l_{ce}(X\theta ,y))}{\partial X\theta }\frac{\partial X\theta }{\partial \theta }=(Z-I_y)X$$

  其中：
  $X\in R^{m\times n};$
  $Z$的维度与$X\theta$相同，即$Z\in R^{m\times k}$
  因此确保$\theta$的偏导数与自身维度不变的情况下的梯度更新公式为：
$$\frac{\partial }{\partial \theta }(l_{ce}(X\theta ,y))=X^T(Z-I_y)$$