数学理论-loss

最新推荐文章于 2022-06-27 17:19:47 发布
最新推荐文章于 2022-06-27 17:19:47 发布
阅读量485 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48579885/article/details/109575946
版权
本文探讨了LR Loss的三种类型，包括平方损失、交叉熵及其与最小二乘的区别。解释了为什么在统计学中通常寻求似然函数的最大值，同时提到了在FATE联邦学习框架中纵向LR使用的[-1,1]区间Log损失函数。" 51265300,5645432,Java面试常见问题解析,"['Java基础', '面向对象', '数据结构', '并发编程', '字符串处理']
摘要由CSDN通过智能技术生成

LR loss 的深入理解-3种

1、首先了解一下三种不同的loss函数

平方损失：
在这里插入图片描述
交叉熵（最大似然损失函数）
在这里插入图片描述

在教科书中，似然常常被用作“概率”的同义词。但在统计学中，二者截然不同。
概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量时，
未知参数的可能取值。

例如，对于“一枚正反对称的硬币上抛十次”这种事件，我们可以问硬币落地时十次都是正面向上的“概率”是多少；而对于“一枚硬币上抛十次，落地都是正面向上”这种事件，我们则可以问，这枚硬币正反面对称的“似然”程度是多少

2、交叉熵与最小二乘的区别

交叉熵：凸优化问题，参数更新公式如下
在这里插入图片描述
最小二乘：非凸问题，在接近0和1的地方梯度极小 不容易学习，但是对异常值更鲁棒，参数更新公式如下

最低0.47元/天 解锁文章
阿信Huang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【AI面试】分类损失横评：CrossEntropy Loss 、Balanced Cross Entropy、 Dice Loss 和 Focal Loss
钱多多先森
05-24 1207
分类损失学习汇总
『NLP学习笔记』Cross Entropy Loss 的硬截断、软化到 Focal Loss
AI新视界
04-12 1681
对于二分类模型，我们总希望模型能够给正样本输出 1，负样本输出 0，但限于模型的拟合能力等问题，一般来说做不到这一点。而事实上在预测中，我们也是认为大于 0.5 的就是正样本了，小于 0.5 的就是负样本。这样就意味着，我们可以 “有选择” 地更新模型，比如，设定一个阈值为 0.6，那么模型对某个正样本的输出大于 0.6，我就不根据这个样本来更新模型了，模型对某个负样本的输出小于 0.4，我也不根据这个样本来更新模型了，只有在 0.4~0.6 之间的，才让模型更新，这时候模型会更 “集中精力” 去关心那些
各种 loss 学习笔记
DiLLVeRsE的博客
06-07 1056
各种 loss 学习笔记Large Margin Cosine LossAdditive Angular Margin LossAdaptive Cosine-based Loss 之间已经介绍过几个比较经典的 loss function 啦，这里再补充三个最近看到的 loss function。 Large Margin Cosine Loss 这个 loss function 的提出，基本思想...
Loss
weixin_43332432的博客
11-12 177
Summary of Paper “WHAT’S IN A LOSS FUNCTION FOR IMAGE CLASSIFICATION?” Different losses and regularizers achieve broadly similar accuracies. Although the acuuracy differences are larger enough to be meaningful in some contexts, the largerst difference is
数学理论（一种有趣的LR_loss）
Ashinhuang的博客
11-10 469
一种有趣的LR_loss 在上篇博客中，我们描述了3中不同的loss函数，本节重点说明一下第三种log损失函数 1、在逻辑回归的loss函数中，交叉熵最大似然损失，大家已经很熟悉了，此时y∈[0,1]y\in[0,1]y∈[0,1]: 2、那么，当我们记正例为1，反例为-1时会发生什么样的变化呢？，此时： 3、所以在2的基础上，逻辑回归问题就转化成了优化问题，只需要让上面这个loss最小： 在联邦学习中，纵向LR时使用的就是这个loss函数，可能因为经过泰勒展开（f(x)=f(x0）+f(x0)′(x
深度学习 loss
10-12
深度学习 loss总结
各种loss简介-待更新
LemonTree_Summer的博客
06-25 4014
1.nn.MSEloss: 均方误差，X和Y维度要一致（可以是向量或者矩阵），i是下标 loss(Xi, Yi) = (Xi - Yi)的平方2.nn.BCEloss: 二分类的交叉熵，用的时候在该层前面要+sigmoid函数loss(Xi, Yi) = -Wi[Yi logXi + (1-Yi)log(1-Xi)] X/Y可以是向量或者矩阵，i是下标，Xi表示第i个样本预测为正例的概率，Yi表示...
Packet-loss-dependent stabilization of model-based networked control systems
02-10
本文《Packet-loss-dependent stabilization of model-based networked control systems》（基于模型的网络控制系统的数据包丢失依赖性稳定化）由Yan Song, Jingcheng Wang, Yuanhao Shi, 和 Xiaosheng Fang撰写，...
参考资料-AN-6005_Switching_Loss_Calculation.zip
01-16
2. **基本公式**：工作表可能提供了计算这些损耗的数学公式，包括考虑开关速度（开关频率）、器件参数（如导通电阻RDS(on)、恢复时间trr等）以及电压和电流的峰值。 3. **数据输入**：用户可能需要输入器件规格、...
深度学习基础（三）loss函数
u010554381的博客
03-13 2万+
loss函数，即损失函数，是决定网络学习质量的关键。若网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。若有错误，敬请指正，Thank you！ 目录 一、loss函数定义 二、常见的loss算法种类 1.MSE(均值平方差) 2.交叉熵 三、总结 四、tensorflow相应函数 1.MSE 2.交叉熵 一、loss函数定义 loss函数的作用就是描述模...
【深度学习】一文读懂机器学习常用损失函数（Loss Function）
weixin_33847182的博客
06-23 1909
最近太忙已经好久没有写博客了，今天整理分享一篇关于损失函数的文章吧，以前对损失函数的理解不够深入，没有真正理解每个损失函数的特点以及应用范围，如果文中有任何错误，请各位朋友指教，谢谢~ 　　损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风...
Loss损失函数
北落师门XY的博客
06-27 3218
本博客记录一下遇到的各种损失，如想了解各种损失及其代码，也可查看mmdet项目的loss部分 适用于多分类任务，交叉熵属于分类损失中常见的一种损失，-ylogP取平均，概率P为1时，损失为0。在bert的mlm预训练任务中使用了ignore_index入参，可仅根据部分位置（15%mask处）计算损失。在实际计算时，标签转为one-hot，y=0的位置-ylogP为0，不参与损失计算，可参考如下链接中的红色示例交叉熵损失和二元交叉熵损失_飞机火车巴雷特的博客-CSDN博客_交叉熵损失计算过程为：
【代码阅读】YOLOv3 Loss构建详解
麒麒哈尔的博客
05-29 1万+
aaaYolov3网络框架Loss构建功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Yolov3 YOLOv3 是Y...
深度学习与计算机视觉系列(8)_神经网络训练与注意点
寒小阳
01-15 5万+
在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。
loss与val loss的关系
Vodka_Lou的博客
08-01 1万+
  首先我们先谈谈loss和val loss 的区别：   loss：训练集整体的损失值。   val loss：验证集（测试集）整体的损失值。   一般来说，我们在训练的一个模型的时候，我们都会把一个样本划分成训练集和验证集。如果我们按照训练集和测试集9:1的比例来划分，那么当我们在训练模型计算出来的loss值就会分为训练集总体loss以及测试集val loss。两者之间有大致如下的关系：   当loss下降，val_loss下降：训练正常，最好情况。   当loss下降，val_loss稳定：网络过拟合
交叉熵代价函数（作用及公式推导）
热门推荐
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
25_PyTorch的十九个损失函数（L1Loss、MSELoss、CrossEntropyLoss 、CTCLoss、NLLLoss、PoissonNLLLoss 、KLDivLoss等）
涂作权的博客
02-10 4868
1.20.PyTorch的十九个损失函数 1.20.1.L1Loss（L1范数损失） 1.20.2.MSELoss（均方误差损失） 1.20.3.CrossEntropyLoss （交叉熵损失） 1.20.4.CTCLoss（连接时序分类损失） 1.20.5.NLLLoss（负对数似然损失） 1.20.6.PoissonNLLLoss (目标泊松分布的负对数似然损失) 1.20.7.KLDivLoss（KL散度损失） 1.20.8.BCELoss（二进制交叉熵损失） 1.20.9.BCEWithLogits
深度学习（一）—— 损失函数（loss function）的前因后果
qq_37100442的博客
08-13 1288
         这是自己更细的第一个原创作品，经过这么久的深度学习，到现在自己可以做一些小的项目，有一一些发自内心的感慨。基础知识掌握情况决定研究的高度，我们刚开始接触深度学习时，一般都是看到别人的概括，这个方法很好能让我们快速上手，但是也有一个很大的缺点， 知识理解的不透彻，导致我们对算法优化时一头雾水。我也是抱着知识总结的思想开始自己的深度学习知识精髓的探索，也希望能从中帮助到更多人。文章中...
交叉熵损失与nllloss有什么区别
最新发布
08-31
交叉熵损失（Cross-Entropy Loss）和负对数似然损失（Negative Log Likelihood, NLLLoss...尽管这两个术语有时可以互换使用，但从精确性角度来看，"交叉熵"更侧重于理论表述，而"NLLLoss"更多指代具体的数值计算过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值