交叉熵函数理解

最新推荐文章于 2024-01-21 18:21:18 发布
最新推荐文章于 2024-01-21 18:21:18 发布
阅读量757 收藏 4
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38742161/article/details/85156539
版权

神经网络模型的优化目标是通过损失函数(loss function)来定义的。交叉熵作为分类任务中经典的损失函数，本文将介绍其原理。

分类问题损失函数

分类问题和回归问题是监督学习的两大种类。在分类问题上，通过神经网络解决分类问题常用的方法是设置n个输出节点，n为类别的个数。这时候需要判断输出指标，损失函数解决了该如何确定一个输出向量和期望的向量有多接近的问题。

熵

熵的本质是香农信息量的期望。

这里写图片描述

交叉熵

交叉熵刻画的是两个概率分布的距离，即通过概率分布q表达概率分布p的困难程度。我们通常以向量的形式表征p和q两个概率分布，那么问题就转化为向量p和q之间的距离有多近。

衡量向量见距离最常用的是一范数或二范数（方差代价函数），我们从二范数说起：

这里写图片描述

这里写图片描述

举例

这里写图片描述

hr_net
关注
专栏目录
交叉熵(Cross entropy)代价函数及其在机器学习中的应用
鲲鹏望舒
03-10 1433
1. 背景概念理解 交叉熵与熵相对，如同协方差与方差。 现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 1.1 熵（entropy） 熵的本质是香农信息量(log1p)(log1p)(log\frac{1}{p} )的期望: H(p)=−∑i=1np(xi)logp(xi)H(p)=−∑i=1np(xi)log⁡p(xi)H(p)=-\sum_{i=1}^n p...
softmax-交叉熵损失函数的求导计算推导
pq4362050的博客
02-22 1057
目前大部分多分类任务对最后一层的输出做softmax，然后使用交叉熵作为损失函数，再对loss求导反向传播来更新w，经过多轮训练得到训练好的w，这就是模型。 我相信许多刚入门的machine learninger只是知道该这么用，但是不明白为什么这样就可以更新w了，下面推导最后一层的导数 最后一层的第i个输出是 其对应的softmax处理是 输入公式太麻烦了 还是手写的吧 ...
交叉熵与相对熵
09-24 916
作者：CyberRep 链接：https://www.zhihu.com/question/41252833/answer/195901726 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 讨论这个问题需要从香农的信息熵开始。 小明在学校玩王者荣耀被发现...
如何理解交叉熵（Cross Entropy）损失函数？
v1998v的博客
08-10 224
https://zhuanlan.zhihu.com/p/38241764
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
weixin_45594172的博客
06-23 2万+
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
如何学损失函数
qq_20945297的博客
06-01 454
今天无意间看到了logistic回归的pytorch的实现，抱着他山之石可以攻玉的态度，阅读了一下代码，突然发现在其代码中的网络搭建部分只有一个Linear层，却不见softmax层（使用的是mnist数据集进行识别的所以要用到softmax回归），但是遍观其全体代码依然没有痕迹，这是我便奇了怪了，由于之在纯python和tf框架上敲过这个代码，所以对这一情况感觉很是奇怪，难道只用一个linear...
交叉熵基本概念
weixin_37355348的博客
07-16 2885
语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。复杂度的意义是用该模型表示这一文本平均的分支数，其倒数可视为每个词的平均概率。平滑是指对没观察到的N元组合赋予一个概率值，以保证词序列总能通过语言模型得到一个概率值。通常使用的平滑技术有图灵估计、删除插值平滑、Katz平滑和Kneser-Ney
各种嫡MATLAB代码.zip_交叉样本嫡matlab,各种嫡的matlab程序-其它代码类资源
06-29
MATLAB作为强大的数值计算工具，提供了便利的环境来实现和研究这些熵函数。 总结起来，这个压缩包资源提供了MATLAB实现的样本熵、香农熵和模糊熵的计算代码，对于学习和研究信息熵及其应用非常有价值。通过深入理解...
pytorch多分类问题
weixin_42595206的博客
04-29 359
多分类问题 softmax分类器 对于多分类，假如我们对每个输出层的神经元用sigmoid输出，并用交叉熵损失进行训练，那么可能会产生一个模糊的结果，比如对于某一输入，第一类的输出概率为0.8，第二类的输出概率为0.8，第三类的为0.9那么我们应该选择哪个结果？ 所以，对于多分类，我们希望输出层的神经元之间是有竞争的，我们希望神经网络输出的是一个分布，每个输出大于0，且和为1 假设 Zl∈RkZ^l\in R^kZl∈Rk是神经网络的输出层，softmax函数： P(y=i)=eZi∑j=0K−1eZj
一级交叉分析数学：外部流量空间和外部熵流空间
02-18
流量是连续函数在一定区间上的积分，流熵则是流熵函数在相应区间上的积分。相应的密度ρt和σt可以理解为在特定时间区间上的流量和流熵的变化率。 综上所述，一级交叉分析数学为研究开放系统提供了一个新的视角和...
损失函数——交叉熵损失函数（CrossEntropy Loss）
weixin_45665708的博客
12-16 10万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
交叉熵函数
最新发布
weixin_42924890的博客
01-21 2246
交叉熵损失函数的定义和计算公式。torch中交叉熵损失函数的用法和公式理解。自己实现代码熟悉交叉熵函数计算的过程。
机器学习优化中的交叉熵及改进形式
学习记录
09-29 4050
机器学习优化中的交叉熵及改进形式   【摘要】目前分类问题广泛的应用到我们的实际生活中[1]，因而我们应该研究如何分类，研究它的算法。交叉熵通常在机器学习的分类问题中用作损失函数来判断分类模型的优劣，即把交叉熵当做损失函数。在实际的使用过程中，有时会不加区分交叉熵和相对熵，或者说用交叉熵代替相对熵。本文将从三个方面对机器学习优化中的交叉熵进行综述，分别是交叉熵的定义和理论推导，交叉熵的适用性分析，利用交叉熵办法的各种改良方式。   关键词：交叉熵、机器学习、改进的交叉熵 Cross-entropy and
详解机器学习由 信息量→熵→相对熵→交叉熵 ___转自狐友
丿回到火星去
07-29 1788
理解流程大致如下： 信息量X轴表示P y轴表示信息量   信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量 首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的...
【交叉熵损失函数】关于交叉熵损失函数的一些理解
syh的技术记录
12-25 9679
目录0. 前言1.损失函数（Loss Function）1.1 损失项1.2 正则化项2. 交叉熵损失函数2.1 softmax2.2 交叉熵 0. 前言 有段时间没写博客了，前段时间主要是在精读一些计算机视觉的论文（比如yolov1），以及学cs231n这门AI和计算机视觉领域的经典课程。我发现很多事情不能着急，质变需要量变的积累，违背事物发展的客观规律，往往适得其反。 今天在学习cs231n的时候看到了关于交叉熵损失函数的讲解，发现之前虽然经常用到这个损失函数，但却对里面的细节很模糊，学完之后更清晰了一
交叉熵代价函数（作用及公式推导）
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
交叉熵损失函数原理详解
热门推荐
Cigar
08-30 24万+
交叉熵损失函数原理详解 之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。 交叉熵简介 交叉熵是信息论中的一个...
交叉熵损失函数
William Zhao's notes
10-05 7万+
一、香农熵 香农熵   1948 年，香农提出了“信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这
pytorch中交叉熵函数的输入
05-13
PyTorch中的交叉熵函数`torch.nn.CrossEntropyLoss()`一般用于分类问题的损失函数计算。该函数的输入包括两个参数：模型预测值和真实标签。 具体来说，模型预测值通常是一个形状为(batch_size, num_classes)的矩阵...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值