均方差误差:
交叉熵
二分类交叉熵
表达式中log的底数是e
yi 表示样本 i 的label 正为1,负为0
pi 表示样本 i 的预测概率
多分类交叉熵
M:表示类别的数量
yic:符号函数(0或者1),如果样本 i 的真实类别等于C取1,否则取0
pic:样本 i 所属类别的C的预测概率。
总结:
我们用神经网络最后一层输出的情况,来看一眼整个模型预测、获得损失和学习的流程:
- 神经网络最后一层得到每个类别的得分scores(也叫logits);
- 该得分经过sigmoid(或softmax)函数获得概率输出;
- 模型预测的类别概率输出与真实类别的one hot形式进行交叉熵损失函数的计算。
参考