损失函数

最新推荐文章于 2024-07-10 09:42:00 发布
最新推荐文章于 2024-07-10 09:42:00 发布
阅读量865 收藏
点赞数
分类专栏： Python 文章标签： 损失函数 TensorFlow Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningchewinbell/article/details/94762079
版权
本文深入探讨了损失函数的概念，包括交叉熵和均方误差。交叉熵常用于分类问题，通过信息熵和KL散度来量化两个概率分布的差异。在TensorFlow中，交叉熵可以通过矩阵运算和平均值计算得到。而均方误差适用于回归问题，是预测值与实际值之间差的平方的平均值。此外，还提到了自定义损失函数在模型训练中的作用。
摘要由CSDN通过智能技术生成

1 损失函数

1. 交叉熵（给定两个概率分布p和q）

H(p,q)=−∑p(x)logq(x)

这里要多说一下：
信息量 设某一事件发生的概率为P(x)，其信息量表示为：
在这里插入图片描述
其中I(x)表示信息量，这里log表示以e为底的自然对数。
信息熵 信息熵也被称为熵，用来表示所有信息量的期望。期望是试验中每次可能结果的概率乘以其结果的总和。所以信息量的熵可表示为：
在这里插入图片描述
相对熵（KL散度） 如果对于同一个随机变量X有两个单独的概率分布P(x)和Q(x)，则我们可以使用KL散度来衡量这两个概率分布之间的差异。
在这里插入图片描述
将KL公式拆开：
在这里插入图片描述

前者H(p(x))表示信息熵，后者即为交叉熵

最低0.47元/天 解锁文章
ningchewinbell
关注
专栏目录
AI笔记: 损失函数的概率解释
Wang的专栏
04-10 761
最佳模型 基于之前的回归是这样的，给定训练数据D，学习一个从输入x到输出y的映射f, 其实这个f就是我们的目标函数 在找最佳模型的时候，我们有一个目标函数，目标函数是希望这个模型在训练集上的损失越小越好，常用的一种损失函数是L2损失 因此模型的目标函数可以写成这样 J(w)=RSS(w)=∑i=1NL(y,y^)=∑i=1NL(yi,f(xi))=∑i=1N(yi−f(xi))2J(w) = R...
【目标检测】----损失函数
weixin_42454048的博客
03-31 1272
log的底数为ey表示样本 i 的标签，正类为1，负类为0(注：BCE并不是只能学习0或1的label)，使用的是one_hot编码p​表示样本 i 预测为正类的概率，是经过sigmoid后的数N 表示样本个数，这里是取了均值的假设x为输入特征，y为标签，当标签为1时，概率为p。那么标签为0时的概率为1-p。利用最大似然估计将其结合：P（y|x）= p(1-p)我们希望的是概率 P(y|x) 越大越好。
CLIP（多模态大模型）
最新发布
qq_59849034的博客
07-10 3631
CLIP是利用文本信息训练一个可以实现zero-shot的视觉模型。被称为多模态大模型，零样本学习方法。最大的贡献在于打破了固定类别标签范式。CLIP在训练的过程中，将句子和图片匹配，然后在推理过程中找到与之最接近的模板句子。CLIP模型在训练过程中，用到了4亿组图像文本对，涵盖了自然界中的大部分场景。
损失函数的概率验证及性质
weixin_33845881的博客
10-07 357
从http://www.cnblogs.com/mikewolf2002/p/7560748.html这篇文章中，我们知道损失函数为下面的形式：\[J(\theta_0, \theta_1..., \theta_n) = \frac{1}{2m}\sum\limits_{i=0}^{m}(h_\theta(x_0^{(i)}, x_1^{(i)}, ...,x_n^{(i)})- y^{(i)})...
关于损失函数的概率表示初识
hhyer的博客
03-19 737
损失函数 损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异．下面介绍几种常用的损失函数． 0-1损失函数（0-1LossFunction） 最直观的损失函数是模型在训练集上的错误率，即0-1损失函数 L(y,f(x;θ))={0if y=f(x;θ)1if y≠f(x;θ)=I(y≠f(x;θ)) L(y,f(x; \theta)) = \left\{\begin{matrix} 0 & if ~y = f(x; \theta) \\ 1 & if ~y
总结各类损失函数
WeisongZhao
05-20 6292
由于有些图片挂了，并且CSDN不知道为什么富文本编辑无法显示Latex 重新修改后的现地址：https://blog.csdn.net/weixin_41923961/article/details/86615958   1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(...
自定义损失函数长短期神经网络，自定义损失函数LSTM神经网络（代码完整，数据齐全，公式齐全）
08-18
基于MATLAB编程，用长短期神经网络LSTM进行回归预测，自定义损失函数，代码完整，包含数据，有注释，方便扩展应用 1，如有疑问，不会运行，可以私信, 2，需要创新，或者修改可以扫描二维码联系博主, 3，本科及本科...
YOLOv5｜YOLOv7｜YOLOv8改各种IoU损失函数：YOLOv8涨点Trick，改进添加SIoU损失函数、EIoU损失函数、GIoU损失函数、α-IoU损失函数-CSDN博客.mhtml
10-23
YOLOv5｜YOLOv7｜YOLOv8改各种IoU损失函数：YOLOv8涨点Trick，改进添加SIoU损失函数、EIoU损失函数、GIoU损失函数、α-IoU损失函数-CSDN博客.mhtml
Detectron2-FasterRCNN 画损失函数曲线
02-13
在这个主题中，"Detectron2-FasterRCNN 画损失函数曲线"是关于如何分析训练过程中的损失函数变化，这对于理解和优化模型的性能至关重要。损失函数曲线可以帮助我们了解模型在训练期间的学习情况，例如是否过拟合或欠...
Pytorch十九种损失函数的使用详解
12-20
在PyTorch中，损失函数是深度学习模型训练的核心组成部分，它们用于衡量模型预测与实际目标之间的差距。这里我们将详细探讨十九种PyTorch损失函数的使用，主要介绍其中的几种常见类型。 首先，损失函数的基本使用...
YOLOV3-损失函数及其源代码理解
01-06
YOLOV3-损失函数及其源代码理解（yolo_layer.c） 讲得好 https://github.com/AlexeyAB/darknet/issues/821 x,y,w,h 损失 原版的bbox损失为MSE，其后又GIOU，DIOU… delta即为求完损失的梯度 公式对应图 思路及具体...
从误差概率分布和损失函数两方面推导线性回归
醉糊涂仙的博客
06-23 813
一，线性和非线性什么关系？ 线性就是一次函数。不管是几元函数！！！ 参考博文：https://blog.csdn.net/u010916338/article/details/84967688 二，线性回归 2.1解释线性回归 如图所示，对于二维数据，线性回归就是能搞够找到一条直线拟合数据。对于三维就是能够找到一个平面拟合数据。对于更高纬就没有办法描述了，但是无...
深度学习笔记(一)——损失函数
InkBamboo920的博客
04-22 3375
深度学习笔记(一)——损失函数 闲聊 关于摸鱼太久了，玩久了到有点愧疚，所以决定好好学习一下基础，免得到时候姓啥都不知道了。希望能够少摸鱼吧~ 损失函数 损失函数定义：在训练机器学习算法中，为了获得最佳模型性能的最佳参数，我们需要一种函数来衡量我们模型的运行情况。函数通过惩罚我们模型(通过分配损失值)相对于当前参数所犯的任何参数，使得我们找到损失值最小的最佳参数。这个函数便称为损失函数。 交叉熵损失函数(Cross-entropy loss function) 交叉熵损失函数可能是使用最多的损失函数了，所
深度学习理论基础13-损失函数
qq_40878431的博客
01-01 1226
开始之前先认识机器学习的几个概念性的东西： 深 度 学 习 有 时 也 称 为 端 到 端 机 器 学 习（end-to-end machinelearning）。 机器学习中，一般将数据分为训练数据和测试数据(或监督数据)两部分来进行学习和实验等。 只对某个数据集过度拟合的状态称为过拟合（over fitting）。 避免过拟合也是机器学习的一个重要课题。 神经网络的学习通过某个指标表...
干货|对比理解不同概率估计和模型损失函数
小白学视觉
08-16 586
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 来源：知乎，张小磊一、极大似然估计与最大后验概率估计我们这有一个任务，就是根据已知的一堆数据样本，...
机器学习---损失函数总结（更新中）
在人工智能的道路上爬行
05-10 1022
文章目录一、简介1.1 参数估计1.2 最大似然估计(Maximum likelihood estimation)1.2.1 定义：1.2.2 最大似然估计的重要前提：1.2.3 具体的数学定义1.2.4 求解步骤1.2.5 举例二、三、交叉熵损失参考资料 一、简介 常见的机器学习可以分为三个部分： {1、网络结构2、损失函数3、优化策略 \begin{cases} 1、网络结构 \\ 2、损失函数 \\ 3、优化策略 \end{cases} ⎩⎪⎨⎪⎧​1、网络结构2、损失函数3、优化策略​ 本文主要介绍
损失函数，基于概率分布度量的损失函数，信息量，信息熵的作用
ZJQ的博客
08-21 1875
在各种材料中经常看到的中英文词汇有：误差，偏差，Error，Cost，Loss，损失，代价......意思都差不多，在本文中，使用“损失函数”和“Loss Function”这两个词汇，具体的损失函数符号用 来表示，误差值用表示。基于概率分布度量的损失函数是将样本间的相似性转化为随机事件出现的可能性，即通过度量样本的真实分布与它估计的分布之间的距离，判断两者的相似度，一般用于涉及概率分布或预测类别出现的概率的应用问题中，在分类问题中尤为常用。，是一种常用的距离度量方法，通常用于度量数据点之间的相似度。
基础算法：交叉熵损失函数
weixin_48186491的博客
10-10 397
改进方法论文：”随机优化的改进交叉熵方法“，DOI：10.13700/j.bh.1001-5965.2017.0017 交叉熵主要用于度量两个概率分布之间的差异性。 信息量 设某一个事件发生的概率为????(????)，则信息量表示为????????=−log⁡(????(????))，I(x)表示信息量，log是以e为底的自然对数。 信息熵 用来表示所有信息量的希望，公式：（X表示一个离散型的随机变量）????????=−????=1????????????????log⁡(??????????
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值