Softmax回归虽然叫做回归,但其解决的是分类问题
回归VS分类
- 回归估计一个连续值,输出往往只有一个
- 分类预测一个离散类别,通常有多个输出,输出 i i i是预测为第 i i i类的置信度
从回归到多类分类-校验比例
-
对类别进行一位有效编码
y = [ y 1 , y 2 , . . . , y n ] T y i = θ p ( x ) = { 1 i f i = y 0 o t h e r w i s e \begin{aligned}y&=[y_1,y_2,...,y_n]^T \\y_i&=\theta_p(x)=\left\{ \begin{array}{rcl} 1 & & {if\quad i=y}\\ 0 & & {otherwise} \end{array} \right.\end{aligned} yyi=[y1,y2,...,yn]T=θp(x)={ 10ifi=yotherwise -
最大值最为预测
y ^ = arg max i o i \hat y=\argmax_io_i y^=iargmaxoi
同时为了转化成概率问题,我们让该模型所有输出和为1,于是就引出了softmax函数。
y ^ i = e o i ∑ k = 1 n e