什么是损失函数?通俗理解

到机器学习,初学者听到最多的就是 损失函数了吧 

我对这个词也是一头雾水 好像今天一个定义明天又是一个定义 ,读了大量的文章和博客 终于有点起色 (感谢论坛各位大佬)

这里用自己的简单语言大致说下什么是损失函数 如果一个地方看不懂就换个博客看 总会有适合你的文章 万一这篇就是了呢

首先我们需要了解损失函数的定义是什么:衡量模型模型预测的好坏

可能这么说有点小小的抽象 ,那么在解释下,损失函数就是用来表现预测与实际数据的差距程度

比如你做一个线性回归,实际值和你的 预测值肯定会有误差,那么我们找到一个函数表达这个误差就是损失函数

和实际一样比如你是一个厨师大赛评委 几名厨师最后成绩由你确定 在你认为色香味都应该是100分才算冠军(这个100分就相当于实际值)

每个人都有自己的做菜方案和技巧,并且达到的效果也是不用的(这个就相当于预测值) 最后你是评委用你的一套规则判断他们多少分(你就是损失函数)

假设我们令真实值为Y  预测值为f(x) 损失函数为L(Y,f(x))他们的关系就是下图

损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。

交叉熵损失函数作为损失函数有以下几个优点: 1. 相似性度量:交叉熵损失函数可以衡量真实标记的分布和模型预测标记分布之间的相似性。通过最小化交叉熵损失,可以使得模型的预测结果更接近真实标记,提高模型的准确性和性能。\[2\] 2. 避免学习速率下降问题:使用交叉熵损失函数结合sigmoid函数进行梯度下降时,可以避免均方误差损失函数学习速率下降的问题。这是因为学习速率可以被输出的误差所控制,从而更好地优化模型参数。\[2\] 3. 数学解释简单:交叉熵损失函数的数学解释相对简单,可以通过最大似然估计的角度来理解。最大似然估计是一种常用的参数估计方法,通过最大化观测数据的似然函数来估计模型参数。在交叉熵损失函数中,最小化负对数似然函数等价于最大化似然函数,从而得到更好的模型拟合效果。\[3\] 综上所述,交叉熵损失函数作为损失函数具有相似性度量、避免学习速率下降问题和数学解释简单等优点。这些优点使得交叉熵损失函数机器学习中被广泛应用,并取代了二次代价函数作为常用的损失函数。 #### 引用[.reference_title] - *1* [交叉熵损失函数的优点(转载)](https://blog.csdn.net/weixin_39529903/article/details/111499257)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [如何简单通俗理解交叉熵损失函数?](https://blog.csdn.net/weixin_39788572/article/details/111499275)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值