损失函数理论基础
- 损失函数是一个使用
已知参数估计未知参数的函数。用损失函数度量当前估计的好坏程度：损失函数值越大，估计的结果越差。简单且常用的损失函数是均方误差损失函数，如下:(一些都是对于单个样本,对于n个样本需要对所有损失求和) - 最小二乘法:
L ( y ^ , y ) = ( y − y ^ ) 2 , y ^ 是 标 签 {\color{Blue}L(\hat y, y) =(y -\hat{y} )^{2}}, \hat y 是标签 L(y^,y)=(y−y^)2,y^是标签
此外, 真实值和估计值的绝对值的线性损失函数稳健性较好，但并不是全程可导的 ：
L ( y ^ , y ) = ∣ y − y ^ ∣ {\color{Blue}L(\hat y, y) =| y- \hat{y} |} L(y^,y)=∣y−y^∣
- 其他
常见的损失函数为:
0-1 损失函数
L ( y ^ , y ) = 1 y ! = y ^ {\color{Blue}L(\hat y, y) = 1_{y!=\hat{y} } } L(y^,y)=1y!=y^
log损失函数
L ( y ^ , y ) = − y ^ log y − (
最低0.47元/天 解锁文章
528
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
