损失函数是一个非负实数函数,用来量化模型预测和真实标签之间的差异
0-1损失函数:
L ( y , f ( x , θ ) ) = ˙ { 0 ( i f y = f ( x , θ ) ) 1 ( e l s e ) L(y,f(x,\theta))\dot= \begin{cases} 0(if y=f(x,\theta))\\ 1 (else)\end{cases} L(y,f(x,θ))=˙{
0(ify=f(x,θ))1(else)
0-1损失函数可以客观的评价模型的好坏,但缺点是数学性质不好,常用连续可微的损失函数替代
平方损失函数:
L ( y , f ( x , θ ) ) = ˙ 1 2 ( y − f ( x , θ ) ) 2 L(y,f(x,\theta))\dot=\frac{1}{2}(y-f(x,\theta))^2 L(y,