softmax 回归

Softmax回归是解决多分类问题，$y$有多个类别，如在mnist数字识别中，$k$=10. 在实际问题中，给定输入$x$，我们的假设函数针对每一个类别$i$估算出概率值，$P(y=i|x)$.

首先，给定输入$x$，它代表类别$i$的证据为

$$evidence(i) = \sum_{i}w_ix+ b_i$$
其中 $w_ix$代表权重，代表偏置，然后用softmax函数转为概率 $y$.
$$y = softmax(evidence)$$

其中

$$softmax(x) = normalize(exp(x)) =exp(x)/\sum_{i}exp(x_i)$$

这个幂运算表示，更大的证据对应更大的假设模型里面的乘数权重值，更进一步，整个计算过程可以写成：

$$y = softmax(wx+b)$$