从logistic regression到利用softmax解决分类任务

Logistic Regression

非线性函数的提出

对于二分类问题，给定特征向量$X$，希望对它的类别进行预测，记预测值为$\hat{y}$，真实值 $y=0$ 或 $1$ ，产生预测值的一种简单方法是做线性回归
$$\hat{y}={\theta }^{T}x+b$$
然而，这对于二分类来说并不是一个好的做法，因为如果想让$\hat{y}$表示实际值$y$等于1的几率的话，$\hat{y}$的值应该在0到1之间,可是$w^{T}x+b$ 的值可能比$1$要大得多，或者出现负值。因此，我们考虑将线性函数转换为非线性函数。
$$g(y)=\frac{1}{1+e^{-y}}$$

从函数图像上，可以看出，这个函数可以将函数值映射到区间$[0,1]$上。

损失函数与极大似然估计的关系

损失函数为
$$L(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
直观的理解，当$y=1$时，损失函数$L=-\log (\hat{y})$，如果想要让损失函数$L$尽可能小，那么$\hat{y}$要尽可能大。当$y=0$时，$L=-\log (1-\hat{y})$，$\hat{y}$要尽可能小。因此，这个函数适合作为分类问题的损失函数。

从概率论的角度上看，记
$$\hat{y}=p(y=1|x)$$
则有
$$1-\hat{y}=p(y=0|x)$$
结合上面两条式子，有
$$p(y|x)={\hat{y}}^y(1-\hat{y}{)}^{(1-y)}$$
根据极大似然估计，我们需要最大化$p(y|x)$。
$$\begin{array}{rl}& \text{maximize}p(y|x)\\ \iff & \text{maximize}\log (p(y|x))\\ \iff & \text{maximize}y\log \hat{y}+(1-y)\log (1-\\ \iff & \end{array}$$