机器学习的损失函数 loss function

最新推荐文章于 2023-06-23 15:34:01 发布

obitoquilt

最新推荐文章于 2023-06-23 15:34:01 发布

阅读量685

点赞数

分类专栏：机器学习数学

本文链接：https://blog.csdn.net/JZ_Javacy/article/details/80047451

版权

机器学习同时被 2 个专栏收录

9 篇文章 0 订阅

订阅专栏

数学

4 篇文章 0 订阅

订阅专栏

机器学习的损失函数 loss function

@(deepLearning)

loss function:

作为优化的目标的函数，又称为代价函数(cost function)。
$L = \sum i = 0 n - 1 ℓ (y i, y i^)$ $L=\sum_{i=0}^{n-1}\ell(y_{i},\hat{y_{i}})$

1.常见的损失函数

1)交叉熵(cross entropy)：如在逻辑回归LR。
$ℓ(yi,yi^)=−yi⋅logyi^−(1−yi)⋅log(1−yi^),yi∈{0,1} ℓ ( y i , y i ^ ) = − y i ⋅ l o g y i ^ − ( 1 − y i ) ⋅ l o g ( 1 − y i ^ ) , y i ∈ { 0 , 1 }$ $\ell(y_i,\hat{y_i})=-y_i \cdot log\hat{y_i}-(1-y_i) \cdot log(1-\hat{y_i}),y_i \in \{0,1\}$
2)平方误差(square loss)：常用于回归。
$ℓ (y i, y i^) = (y i - y i^) 2$ $\ell(y_i,\hat{y_i})=(y_i-\hat{y_i})^2$
3)指数误差(exponential loss)：常用于boosting算法。
$ℓ(yi,yi^)=e−yi⋅yi^,yi∈{−1,1} ℓ ( y i , y i ^ ) = e − y i ⋅ y i ^ , y i ∈ { − 1 , 1 }$ $\ell(y_i,\hat{y_i})=e^{-y_i \cdot \hat{y_i}},y_i \in \{-1,1\}$
4)逻辑误差(logistic loss)：
$ℓ (y i, y i^) = l o g (1 + e - y i \cdot y i^)$ $\ell(y_i,\hat{y_i})=log(1+e^{-y_i \cdot \hat{y_i}})$
5)正则项(regularization)：
$L = \sum i = 0 n - 1 ℓ (y i, y i^) + λ \cdot R (ω)$ $L=\sum_{i=0}^{n-1}\ell(y_i,\hat{y_i})+\lambda \cdot R(\omega)$

L1正则化
L2正则化

obitoquilt

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习的损失函数 loss function

机器学习的损失函数 loss function@(deepLearning)loss function: 作为优化的目标的函数，又称为代价函数(cost function)。 L=∑i=0n−1ℓ(yi,yi^)L=∑i=0n−1ℓ(yi,yi^) L=\sum_{i=0}^{n-1}\ell(y_{i},\hat{y_{i}}) 1.常见的损...
复制链接

扫一扫