1、softmax回归模型
softmax回归模型和线性回归一样将输入特征和权重做线性叠加,softmax回归的输出个数等于标签里的类别数。例如在一个图片分类的问题中,输入的图像为2x2像素图片,分别记为x1,x2,x3,x4。对应数据集的真实标签为狗,猫,鸡,记为o1,o2,o3。
softmax回归同线性回归一样,也是一个单层神经网络。输出层也是一个全连接层。
2、softmax运算
问题:1.输出层输出的范围不确定。2.很难度量其与真实值之间的误差
解决:softmax运算——将输出值变化成值为正且和为1的概率分布
softmax回归对样本i分类的矢量计算表达式为:
3、交叉熵损失函数(cross entropy)——用于分类模型
4、总结
1、softmax回归适用于多分类问题,它使用softmax运算输出类别的概率分布
2、softmax回归是一个单层神经网络,输出个数等于分类问题的类别个数
3、交叉熵适合衡量两个概率分布的差异