损失函数

Multiclass SVM loss：Hinge loss

其中s_yi是正确类得分，s_j是不正确类得分；1为边际值，表示很大；if Syi >> Sj , loss为0

softmax函数

Softmax回归处理

神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布？

这就是Softmax层的作用，假设神经网络的原始输出为y1,y2,….,yn，那么经过Softmax回归处理之后的输出为：

很显然的是：

Softmax回归处理就是：使单个节点的输出变成的一个概率值，经过Softmax处理后结果作为神经网络最后的输出。

神经网络的Loss函数：Softmax层+Cross Entropy(交叉熵)

线性回归问题解未知参数==>最小二乘法 loss function选MSE
MSE可以用于最大似然估计，最小化MSE与最大化似然函数效果相同。
大多数现代的神经网络使用最大似然来训练，这意味着loss function就是负的对数似然。