Loss Function

最新推荐文章于 2022-08-27 09:27:00 发布

believe_miao

最新推荐文章于 2022-08-27 09:27:00 发布

阅读量378

点赞数

分类专栏： machine-learning

本文链接：https://blog.csdn.net/believe_miao/article/details/45047249

版权

machine-learning 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Loss Function 损失函数

loss function (损失函数) = loss term (误差部分) + regularization term (正则化项)

一.loss term(误差部分)

我们使用以下几种例子来说明loss term：
1. gold standard (ideal case)
也被成为“0-1”loss，计数错误分类的次数。
2. hinge (for soft margin SVM)
我们使用 $L_{hinge}$ 来表示hinge loss.

J (ω) = 1 2 ∥ ω ∥ 2 + \sum i m a x (0, 1 - y i ω T x i) = 1 2 ∥ ω ∥ 2 + \sum i m a x (0, 1 - m i (ω)) = R 2 (ω) + \sum i L h i n g e (m i)

$J(\omega)= \frac 12 \lVert \omega \rVert ^2 + \sum_i max(0,1-y^i\omega^Tx^i)\\ = \frac 12 \lVert \omega \rVert ^2+\sum_i max(0,1-m_i(\omega))\\ = R_2(\omega)+\sum_i L_{hinge}(m_i)$
3. log (for logistic regression, cross entropy error)
4. squared loss (for linear regression)
5. exponential loss (boosting)