机器学习
阿木鸣
这个作者很懒,什么都没留下…
展开
-
【机器学习】损失函数
一、损失函数(Loss function)损失函数是用来估量你模型的预测值 f(x)与真实值 Y的不一致程度。它是一个非负实值函数,通常用 来表示。损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项,通常如下所示:其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面的 Φ是...转载 2019-07-27 08:29:44 · 871 阅读 · 0 评论 -
【机器学习】Hinge loss损失函数
转载 2019-08-01 11:02:06 · 560 阅读 · 0 评论 -
【机器学习】Huber loss
Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对噪声(或叫离群点,outliers)的鲁棒性。当预测偏差小于 δ 时,它采用平方误差,当预测偏差大于 δ 时,采用的线性误差。相比于最小二乘的线性回归,Huber Loss降低了对离群点的惩罚程度,所以 Huber Loss 是一种常用的鲁棒的回归损失函...转载 2019-08-02 09:51:17 · 7410 阅读 · 0 评论 -
【机器学习】L1 loss & L2 loss & Smooth L1 loss
衡量预测值与真实值的偏差程度的最常见的loss: 误差的L1范数和L2范数因为L1范数在误差接近0的时候不平滑,所以比较少用到这个范数对于大多数CNN网络,我们一般是使用L2 loss而不是L1 loss,因为L2 loss的收敛速度要比L1 loss要快得多。L2范数的缺点是当存在离群点(outliers)的时候,这些点会占loss的主要组成部分。比如说真实值为1,预测10次,有一次...转载 2019-08-02 10:07:34 · 1018 阅读 · 0 评论