机器学习之损失函数

最新推荐文章于 2023-03-15 15:30:13 发布
VIP文章 最新推荐文章于 2023-03-15 15:30:13 发布
阅读量869 收藏 4
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46112766/article/details/111314068
版权
有这样一个问题，损失函数和评价指标都是来评判模型的好与不好，它们之间有什么区别？

简单区分可以理解为损失函数是用在模型训练阶段，用在梯度下降阶段，做梯度更新，来让损失函数最小化。

评价指标是用在测试阶段，也就是判断生成的模型的好坏，评价指标有很多种，会单独写一篇文章。

什么是损失函数？

在有监督学习中，真实值与预测值不一致的程度，叫做损失函数。

损失函数各种各样，没有哪一个说适合所有的网络模型，损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导数求取的难易和预测的置信度等若干方面。

损失函数分类

经验风险：预测结果与实际结果的差值

结构风险：经验风险 + 正则项

还有一种分类方法，从解决的问题看：回归和分类问题。

常见的损失函数
回归问题
均方误差 – L2损失

思想：预测值与真实值之差的平方和

公式
M S E = ∑ i = 1 n ( y i − y i p ) 2 n MSE = \frac{ \sum_{i=1}^{n}(y_i-y_i^{p})^2}{n} MSE=n∑i=1n​(yi​−yip​

最低0.47元/天 解锁文章
柏拉图工作室-AI学科
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI基础：机器学习的损失函数
10-11
AI 基础：简易数学入门 AI 基础：Python开发环境设置和小技巧 AI 基础：Python 简易入门 AI 基础：Numpy 简易入门 AI 基础：Pandas 简易入门 AI 基础：Scipy(科学计算库) 简易入门 AI基础：数据可视化简易入门（matplotlib和seaborn） AI基础：机器学习库Scikit-learn的使用 AI基础：机器学习简易入门 AI基础：特征工程-类别特征 AI基础：特征工程-数字特征处理
机器学习中的损失函数
weixin_33995481的博客
12-22 106
着重介绍hige loss 和 softmax loss。 svm回顾 \(C_1,C_2\)是要区分的两个类别，通过分类函数执行时得到的值与阈值的大小关系来决定类别归属，例如： \[g(x) = g(w^Tx+b)\] 我们取阈值为0，此时\(f(x)=sgn[g(x)]\)就是最终的判别函数。对于同一个问题，有多个分类函数，哪一个更好呢？于是引入了“分类间隔”的指标 函数间隔和几何间隔 给定样...
机器学习 损失函数 Loss function
qq_45351128的博客
05-02 2985
损失函数最小二乘法极大似然估计法交叉熵 在梯度下降中，所求的梯度其实就是损失函数的梯度。 损失函数有三种设计方法： （1）最小二乘法 （2）极大似然估计法 （3）交叉熵法 什么是损失函数呢？ 其实就是我们想的模型标准和现实模型相比较，相差多少的定量表达。 那么损失函数如何设计出来的呢？背后的含义是什么？ 最小二乘法 公式： 举例 存在一个神经网络，用于判断输入的图片是否是猫。 首先我们先输入一些带标签的训练数据，xi就是输入数据的标签(xi表示第i张是否是猫，1是猫，0不是猫) 这些图片在经过神经网络后
机器学习中常用损失函数
Missaya的博客
10-18 1339
1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x)值。 2. 常用损失函数 常见的损失误差有五种： 1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 2. 互熵损失 （Cross Entrop...
机器学习系列（三）——目标函数和损失函数
01-06
#机器学习基础（三） 文章目录4. 目标函数4.1 为什么要使用目标函数4.2 目标函数的作用原理4.3 为什么目标函数是负的4.4 ...在本文中着重介绍机器学习中的目标函数（代价函数，Cost Function）以及损失函数（Loss Fu
机器学习中的常见问题——损失函数
11-25
机器学习中的常见问题——损失函数
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数1
损失函数学习笔记
11-28
在浏览了网上大量关于损失函数的文档后，总结和归纳的损失函数学习笔记，尤其是softmax loss，对目前比较新的A-softmax、center loss、coco-loss、triple-loss等都有较为全面的理论推导和解释，对于入门级的同学具有...
机器学习：常见的损失函数
贾慧玉的博客
05-02 778
常见的损失误差有五种： 1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 2. 互熵损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中； 4. 指数损失（Exponential Loss） ：主要用于Adab...
机器学习总结（一）：常见的损失函数
以梦为马，不负韶华
03-30 4万+
这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这
机器学习模型中的损失函数loss function
null的专栏
03-31 5万+
import matplotlib.pyplot as plt import numpy as np xmin, xmax = -4, 4 xx = np.linspace(xmin, xmax, 100) plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss") plt.plot(xx, np.where(x
机器学习中的损失函数（Loss Function）介绍、说明
weixin_44177594的博客
04-08 8709
损失函数损失函数介绍常见的损失函数1.对数损失函数（Logloss）2. hinge loss 合页损失函数3. exp-loss 指数损失函数4. cross-entropy loss 交叉熵损失函数5. quadratic loss 平方误差损失函数6. absolution loss (绝对值损失函数)7. 0-1 loss (0-1损失函数) 损失函数介绍 解决一个机器学习问题主要有两部分：数据和算法。 算法又有三个部分组成：假设函数、损失函数、算法优化。 损失函数： 用于计算损失的函数。在机器
softmax、cross entropy和softmax loss学习笔记
Boys_Wu的博客
10-25 564
softmax 接触到softmax网络，知道其是全连接层，但没有搞清楚它的实现方式，进他又接触到了softmax，果断仔细研究研究，有了softmax，损失函数自然不可少。 先讲softmax。 softmax是一个全连接层，功能是将卷积神经网络计算后的多个神经元输出，映射到（0，1）区间，给出每种分类的概率情况。下面主要记录全连接层到损失层是如何计算的。 图的等号左边为全连接，w为权值，x是全...
机器学习－－损失函数
seu_yang的博客
09-05 1392
介绍损失函数之前首先介绍两种风险：经验风险和结构风险        1) 经验风险最小化的策略认为，根据已知样本，求得误差最小的模型最优，即经验风险最小的模型就是最优的模型。（经验风险最小能保证模型在训练集上取得较好的效果，但当训练集较小时，训练集不能代表全体样本，从而导致模型泛化能力差），通常形式为：其中f(x)为预测结果，y为实际结果   机器学习——损失函数 > image201
机器学习总结（三）——损失函数
热门推荐
chkay399的博客
08-21 5万+
经典机器学习算法，他们最本质的区别是分类思想（预测y的表达式）不同，有的是基于概率模型，有的是动态规划，表象的区别就是最后的损失函数不同。 损失函数分为经验风险损失函数和结构风险损失函数，经验风险损失函数反映的是预测结果和实际结果之间的差别，结构风险损失函数则是经验风险损失函数加上正则项(L0、L1（Lasso）、L2（Ridge）)。 不同的算法常用的损失函数（Loss Function）有...
机器学习之常见的损失函数(loss function)
perfect1t的博客
03-06 3万+
解决一个机器学习问题主要有两部分：数据和算法。而算法又有三个部分组成：假设函数、损失函数、算法优化。我们一般在看算法书或者视频教学时，更多的是去推算或者说参数估计出其假设函数，而往往不太注重损失函数，但是损失函数在面试时却是一个很重要的知识点。所以仅在此以自己理解的方式总结一些常见的损失函数，作为笔记方便日后复习。 参考文章： 一、总览 在机器学习中，通常把模型关于单个样本预测值与真实值的差...
机器学习-损失函数汇总
昆仑-郑教主的专栏
09-11 2034
在统计学习中，当有了模型的假设空间，则需要考虑通过什么样的准则学习或选择最优的模型，然而需要引入损失函数与风险函数的概念。    损失函数是度量模型一次预测的好坏；    风险函数是度量平均意义下模型预测的好坏； 0-1损失函数： 使用0-1损失函数时，实质就是通过比较预测值与真实值的符合是否相同； log对数损失函数（logistic回归） log损失函数的标准形式：
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
机器学习平均损失函数
最新发布
03-07
机器学习中的平均损失函数是用来衡量模型预测结果与真实标签之间的差异程度的指标。它是通过计算每个样本的损失函数值，并对所有样本的损失函数值进行求平均得到的。 常见的机器学习平均损失函数包括： 1. 均方误差...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值