常见的损失函数的类型

• 损失函数：度量模型预测值与真实值之间的差异
• 对于回归问题：令残差$r=f(X)-y$
  
  • L2损失：$L_2(r)=\frac{1}{2}r^2$
  • 
  • L1损失：$L_1(r)=|r|$
  • 
  • Huber损失：$L_\delta(r) = \begin{cases} \frac{1}{2}r^2, & \text{if $|r|<=\delta$ } \\ \delta|r|-\frac{1}{2}\delta^{2}, & \text{if $|r|>=\delta$ } \end{cases}$
    
• 对于分类问题：
  
  • 0-1损失：$l_{0/1}（y,f(X)） = \begin{cases} 1 & \text{ $yf(X) < 0$ } \\ 0 & \text{ $otherewise$ } \end{cases}$
  • Logistic损失：亦称负log似然损失/logloss
  • $$l_{log}(y,f(x))=log(1+exp(-yf(x)))$$
  • 指数损失：
  • 合页损失：