softmax的概念
本文主要内容:
1、softmax的基本概念。
softmax的基本概念
1、分类问题
一个简单的图像分类问题,输入图像的高和宽均为2像素,色彩为灰度。
图像中的4像素分别记为x1,x2,x3,x4。
假设真实标签为狗、猫或者鸡,这些标签对应的离散值为y1,y2,y3。
我们通常使用离散的数值来表示类别,例如y1=1,y2=2,y3=3。
2、权重矢量
o1 = x1w11 + x2w21 + x3w31 + x4w41 + b1
o2 = x1w12 + x2w22 + x3w32 + x4w42 + b2
o3 = x1w13 + x2w23 + x3w33 + x4w43 + b3
3、神经网络图
下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样,也是一个单层神经网络。由于每个输出o1、o2、o3的计算都要依赖于所有的输入x1、x2、x3、x4,softmax回归的输出层也是一个全连接层。
既然分类问题需要得到离散的预测输出,一个简单的办法是将输出值oi当作预测类别是的置信度,并将值最大的输出所对应的类作为预测输出,即输出arg maxoi。例如,如果o1、o2、o3分别为0.1、10、0.1,由于o2最大,那么预测类别为2,其代表猫。
4、输出问题