损失函数通常用于评价机器学习模型的好坏,根据机器学习任务的不同,本文总结分别总结回归和分类场景下常用的损失函数。
回归任务下常用损失函数
- L2损失函数(均方误差MSE)
M S E = ∑ i = 1 n ( y i − y i p ) 2 MSE = \sum_{i=1}^{n} {(y_i-y{_i^p})^2} MSE=i=1∑n(yi−yip)2 - L1损失函数(平均绝对误差MAE)
M A E = ∑ i = 1 n ∣ y i − y i p ∣ MAE = \sum_{i=1}^{n} {|y_i-y{_i^p}|} MAE=i=1∑n∣yi−yip∣ - Huber损失函数(平滑平均绝对误差)
L δ ( y , f ( x ) ) = { 1 2 ( y − f ( x ) ) 2 , for ∣ y − f ( x ) ∣ ≤ δ , δ ∣ y − f ( x ) ∣ − 1 2 δ 2 , otherwise. L_\delta(y,f(x)) = \begin{cases} \frac{1}{2}(y-f(x))^2, & \text{for}|y-f(x)|\leq\delta, \\ \delta|y-f(x)|-\frac{1}{2}\delta^2, & \text{otherwise.} \end{cases} Lδ(y,f(x))={ 2