机器学习之损失函数

最新推荐文章于 2023-12-22 10:05:47 发布
最新推荐文章于 2023-12-22 10:05:47 发布
阅读量906 收藏 4
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46112766/article/details/111314068
版权
本文探讨了损失函数与评价指标的区别，强调损失函数在模型训练中的作用。介绍了损失函数的基本概念，包括经验风险和结构风险，并根据问题类型分为回归和分类问题。详细讲解了回归问题中的L2和L1损失函数，以及分类问题中的交叉熵损失、指数损失和hinge损失。同时阐述了交叉熵函数与最大似然函数的联系与区别。
摘要由CSDN通过智能技术生成
有这样一个问题，损失函数和评价指标都是来评判模型的好与不好，它们之间有什么区别？

简单区分可以理解为损失函数是用在模型训练阶段，用在梯度下降阶段，做梯度更新，来让损失函数最小化。

评价指标是用在测试阶段，也就是判断生成的模型的好坏，评价指标有很多种，会单独写一篇文章。

什么是损失函数？

在有监督学习中，真实值与预测值不一致的程度，叫做损失函数。

损失函数各种各样，没有哪一个说适合所有的网络模型，损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导数求取的难易和预测的置信度等若干方面。

损失函数分类

经验风险：预测结果与实际结果的差值

结构风险：经验风险 + 正则项

还有一种分类方法，从解决的问题看：回归和分类问题。

常见的损失函数
回归问题
均方误差 – L2损失

思想：预测值与真实值之差的平方和

公式
M S E = ∑ i = 1 n ( y i − y i p ) 2 n MSE = \frac{ \sum_{i=1}^{n}(y_i-y_i^{p})^2}{n} MSE=n∑i=1n​(yi​−yip​)

最低0.47元/天 解锁文章
柏拉图工作室-AI学科
关注
专栏目录
机器学习中的损失函数
Ding_xiaofei的博客
09-18 2989
开篇 很多时候，机器学习的算法是可以按照损失函数来划分的，像我以前博客中提到的LR和SVM的区别，首先它们的损失函数就是不一样的。这边我还是先整理一部分损失函数，近期会逐步的完善。 交叉熵损失函数 交叉熵就是用来判定实际的输出与期望的输出的接近程度 关于熵的一些概念，这边不多加赘述，大家可以参考我的博客 这边的话，其实最开始的主要目的就是衡量两个概率分布的距离，如何是衡量两个分布的距离呢，这里需要...
机器学习总结（一）：常见的损失函数
以梦为马，不负韶华
03-30 5万+
这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这
机器学习 损失函数 Loss function
qq_45351128的博客
05-02 3245
损失函数最小二乘法极大似然估计法交叉熵 在梯度下降中，所求的梯度其实就是损失函数的梯度。 损失函数有三种设计方法： （1）最小二乘法 （2）极大似然估计法 （3）交叉熵法 什么是损失函数呢？ 其实就是我们想的模型标准和现实模型相比较，相差多少的定量表达。 那么损失函数如何设计出来的呢？背后的含义是什么？ 最小二乘法 公式： 举例 存在一个神经网络，用于判断输入的图片是否是猫。 首先我们先输入一些带标签的训练数据，xi就是输入数据的标签(xi表示第i张是否是猫，1是猫，0不是猫) 这些图片在经过神经网络后
机器学习——损失函数
最新发布
qq_41566819的博客
12-22 1976
损失函数(loss function)又称为误差函数(error function)，是衡量模型好坏的标准，用于估量模型的预测值与真实值的不一致程度，是一个非负实值函数。损失函数的一般表示为L(y,f(x))，用以衡量真实值y与预测值f(x)不一致的程度，一般越小越好。
AI基础：机器学习的损失函数
10-11
【AI基础：机器学习的损失函数】 在人工智能和机器学习领域，损失函数是评估模型预测结果与实际数据间差异的关键工具。损失函数（Loss Function）衡量的是模型预测值f(x)与真实值y的不一致程度，是优化过程中的核心...
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数 在机器学习和深度学习中，我们常见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉熵则使用很频繁，为什么呢？本文将带您领略香农...
机器学习中常用损失函数
Missaya的博客
10-18 1419
1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x)值。 2. 常用损失函数 常见的损失误差有五种： 1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 2. 互熵损失 （Cross Entrop...
机器学习模型中的损失函数loss function
null的专栏
03-31 5万+
import matplotlib.pyplot as plt import numpy as np xmin, xmax = -4, 4 xx = np.linspace(xmin, xmax, 100) plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss") plt.plot(xx, np.where(x
机器学习中的损失函数（Loss Function）介绍、说明
weixin_44177594的博客
04-08 9672
损失函数损失函数介绍常见的损失函数1.对数损失函数（Logloss）2. hinge loss 合页损失函数3. exp-loss 指数损失函数4. cross-entropy loss 交叉熵损失函数5. quadratic loss 平方误差损失函数6. absolution loss (绝对值损失函数)7. 0-1 loss (0-1损失函数) 损失函数介绍 解决一个机器学习问题主要有两部分：数据和算法。 算法又有三个部分组成：假设函数、损失函数、算法优化。 损失函数： 用于计算损失的函数。在机器
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
详解机器学习中的损失函数
毛毛虫_Wendy的博客
08-21 5134
Class Content layout post title 详解机器学习中的损失函数 categories Blog description 机器学习中常见的损失函数以及它们的特点和适用场景 keywords 机器学习 损失函数 风险函数 1. 前言 我们知道机器学习的三要素是:方法= 模型+策略+算法,...
机器学习-损失函数
小仙女的博客
05-22 340
机器学习-损失函数
机器学习中的损失函数 （着重比较：hinge loss vs softmax loss）
热门推荐
Vinicier的专栏
11-09 8万+
1. 损失函数损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示： θ∗=argminθ1N∑i=1NL(yi,
softmax、cross entropy和softmax loss学习笔记
Boys_Wu的博客
10-25 632
softmax 接触到softmax网络，知道其是全连接层，但没有搞清楚它的实现方式，进他又接触到了softmax，果断仔细研究研究，有了softmax，损失函数自然不可少。 先讲softmax。 softmax是一个全连接层，功能是将卷积神经网络计算后的多个神经元输出，映射到（0，1）区间，给出每种分类的概率情况。下面主要记录全连接层到损失层是如何计算的。 图的等号左边为全连接，w为权值，x是全...
机器学习入门：理解损失函数及其应用
"这篇资源是关于AI基础系列的文章，特别是关注机器学习中的损失函数，它在AI和深度学习中扮演着重要角色。损失函数衡量模型预测值与真实值之间的差异，并通过最小化损失来优化模型。文章介绍了回归和分类两种类型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值