损失函数理论基础
- 损失函数是一个使用
已知参数
估计未知参数
的函数。用损失函数度量当前估计的好坏程度:损失函数值越大
,估计的结果越差
。简单且常用的损失函数是均方误差损失
函数,如下:(一些都是对于单个样本
,对于n
个样本需要对所有损失求和
) - 最小二乘法:
L ( y ^ , y ) = ( y − y ^ ) 2 , y ^ 是 标 签 {\color{Blue}L(\hat y, y) =(y -\hat{y} )^{2}}, \hat y 是标签 L(y^,y)=(y−y^)2,y^是标签
此外, 真实值和估计值的绝对值的线性损失函数
稳健性较好,但并不是全程可导
的 :
L ( y ^ , y ) = ∣ y − y ^ ∣ {\color{Blue}L(\hat y, y) =| y- \hat{y} |} L(y^,y)=∣y−y^∣
- 其他
常见的
损失函数为:
0-1 损失函数
L ( y ^ , y ) = 1 y ! = y ^ {\color{Blue}L(\hat y, y) = 1_{y!=\hat{y} } } L(y^,y)=1y!=y^
log损失函数
L ( y ^ , y ) = − y ^ log y − (