Tensorflow2.x的多元交叉熵

最新推荐文章于 2023-12-08 22:44:09 发布
最新推荐文章于 2023-12-08 22:44:09 发布
阅读量584 收藏
点赞数
分类专栏： 深度学习 文章标签： tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Zongning_MA/article/details/113925483
版权
本文探讨了Tensorflow2.x中多元交叉熵的计算，从理论基础出发，详细介绍了公式，并通过实践将理论转化为Python代码。实验部分展示了自定义函数与Tensorflow内置损失函数`tf.keras.losses.CategoricalCrossentropy()`的比较，验证了两者计算结果的一致性。
摘要由CSDN通过智能技术生成

1.提出问题：

交叉熵是用来衡量两个分布相似程度的度量，是分类中经常使用的损失函数。我们平时的用法是：

model.compile(loss='categorical_crossentropy', optimizer='adam')

那这个categorical_crossentropy是怎么计算出来的呢，今天我们就扒一扒。

2.分析问题：

2.1理论基础：

以多元交叉熵为例，其简单的公式是：

最低0.47元/天 解锁文章
py2024
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TensorFlow2.0实现逻辑回归二分类，多分类
lovelife110的博客
06-24 4057
代码路径：https://github.com/lilihongjava/leeblog_python/tree/master/tensorflow_logistic_regression 数据集iris.csv，sklearn 鸢尾花数据集 二分类 这里用二元的交叉熵作为二分类的损失函数，激活函数为sigmoid layer0 = tf.keras.layers.Dense(1, input_shape=(x_data.shape[1],), activation='sigmoid') model =
损失函数——交叉熵损失（Cross-entropy loss）
weixin_50752408的博客
03-15 2万+
对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布，将目标标签视为类别索引，并计算这些概率与实际标签之间的交叉熵损失。其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。清空梯度，计算模型输出和损失，使用。
交叉熵损失函数与one-hot编码
ghedhrjeerdjh的博客
03-08 3336
交叉熵损失函数 交叉熵损失函数是在分类问题中常用的一种损失函数，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。 二分类问题中使用交叉熵损失函数，输出层常用sigmoid激活函数 loss=−1n∑i=1n[yiln⁡ai+(1−yi)ln⁡(1−ai)] loss=-\frac{1}{n}\sum_{i=1}^n{\left[ y_i\ln a_i+\left( 1-y_i \right) \ln \
神经网络分类效果评价——多元分类交叉熵
修习之路
01-22 1797
描述 针对项目过程中遇到的对于神经网络分类效果的评价–损失函数categorical_crossentropy的解读。 1.多元分类交叉熵 其中，types是分类总数，以五元分类来说，types=5； yitag是某个分类的标签值，是一个二值，即只能为0或1，例如，对于五元分类，类别就是用一个五元组表示—— [1,0,0,0,0] [0,1,0,0,0] [0,0,1,0,0] [0,0,0,1,0] [0,0,0,0,1] 那么yitag的值就是当前分类位置上的0或1值； yi_pre_prob是在so
交叉熵损失函数（Cross-Entropy Loss Function）
orDream的博客
11-29 7508
在处理机器学习或深度学习问题时，损失/成本函数用于在训练期间优化模型。目标几乎总是最小化损失函数。损失越低，模型越好。交叉熵损失是最重要的成本函数。它用于优化分类模型。对交叉熵的理解取决于对 Softmax 激活函数的理解。我在下面写了另一篇文章来涵盖这个先决条件考虑一个4类分类任务，其中图像被分类为狗、猫、马或猎豹。上图中，Softmax 将 logits 转换为概率。交叉熵的目的是获取输出概率（P）并测量与真值的距离（如下图所示）。对于上面的示例，类dog的所需输出是[1,0,0,0]
TensorFlow实战BERT（附赠：TensorFlow1.X升级TensorFlow2.X）
03-30
课程分享——TensorFlow实战BERT（附赠：TensorFlow1.X升级TensorFlow2.X），完整版视频教程下载。 TensorFlow实战BERT课程目录: 第1章 BERT简介 第2章 向量层是怎么来的？ 第3章 注意力机制 第4章 Transformer_...
StyleGAN2-TensorFlow-2.x:使用TensorFlow 2.x非官方实现StyleGAN2
04-22
样式GAN2-TensorFlow-2.x 使用TensorFlow 2.x的非官方实现StyleGAN2 config-f 。 来自Nvidia的官方论文： : 使用TensorFlow 1.x的官方仓库： : 额外功能 支持TensorFlow自定义操作 支持CPU使用率 Conv2D op当前不...
Tensorflow2.x实现图像识别（基于迁移学习）
04-21
基本所以图像识别任务都可以基于这段代码来实现！！！代码主要包括：图像数据集的制作、图像预处理、模型搭建与微调、模型训练...本例使用Tensorflow的ResNet预训练模型，并在此基础上进行微调，能实现复杂的分类问题。
原始GAN网络TensorFlow2.x代码实现
01-29
使用TensorFlow2.x版本，实现了原始GAN网络，适合GAN网络入门。
详解tensorflow2.x版本无法调用gpu的一种解决方法
09-16
在使用TensorFlow 2.x版本进行深度学习时，有时可能会遇到无法调用GPU的问题。本文主要探讨了在TensorFlow 2.x（此处为2.2版本）中遇到GPU调用失败的一个具体解决方法，该问题可能由库文件缺失或路径配置不正确导致...
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 11万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
损失函数——交叉熵损失函数（CrossEntropy Loss）
weixin_45665708的博客
12-16 9万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
交叉熵损失函数(Cross Entropy Error Function)与均方差损失函数(Mean Squared Error)
bitcarmanlee的博客
04-19 2万+
1.均方差损失函数(Mean Squared Error) 均方差损失函数是预测数据和原始数据对应点误差的平方和的均值。计算方式也比较简单 MSE=1N(y^−y)2MSE = \frac{1}{N}(\hat y - y) ^ 2MSE=N1​(y^​−y)2 其中，N为样本个数。 2.交叉熵损失函数(Cross Entropy Error Function) 在分类问题中，尤其是在神经网络中，...
【Pytorch】交叉熵损失函数 CrossEntropyLoss() 详解
weixin_44211968的博客
04-01 3万+
文章目录一、损失函数 nn.CrossEntropyLoss()二、什么是交叉熵三、Pytorch 中的 CrossEntropyLoss() 函数参考链接 一、损失函数 nn.CrossEntropyLoss() 交叉熵损失函数 nn.CrossEntropyLoss() ，结合了 nn.LogSoftmax() 和 nn.NLLLoss() 两个函数。 它在做分类（具体几类）训练的时候是非常有用的。 二、什么是交叉熵 交叉熵主要是用来判定 实际的输出与期望的输出的接近程度。 举个例子：在做分类训练的
交叉熵损失函数详解
journey_fan的专栏
03-23 1万+
交叉熵损失函数 说到交叉熵损失函数（Cross Entropy Loss），就想到公式：L=−[ylogy^+(1−y)log(1−y^)]L=-[ylog \hat y + (1-y)log(1- \hat y)]L=−[ylogy^​+(1−y)log(1−y^​)] 大多数情况下，这个交叉熵函数直接拿来用即可，但是知其然还要知其所以然，关于它是怎么推导而来的，为什么它能表征真实样本标签和预测...
一文理解什么是交叉熵损失函数以及它的作用
最新发布
AI与算法都要通俗易懂
12-08 4395
今天看一个在深度学习中很枯燥但很重要的概念——交叉熵损失函数。作为一种损失函数，它的重要作用便是可以将“预测值”和“真实值(标签)”进行对比，从而输出 loss 值，直到 loss 值收敛，可以认为神经网络模型训练完成。那么这个所谓的“交叉熵”到底是什么，为什么它可以用来作为损失函数呢？
Tensorflow2.0 MSE（均方误差）和 Cross Entropy（交叉熵）
weixin_43788143的博客
06-29 2629
什么是MSE？ 参数估计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE MSE（均方误差）在深度学习中主要用来求损失函数，既真实值和预测值之间的误差。 公式中的y是真实值，out是你计算出来的值，让它们求和累加再除以N（N是你进行前向传播时你设置的batch） 在Tensorflow2.0中的使用 什么是Cross Entropy（交叉熵）？ 要理解什么的交叉熵就要先知道什么是熵？ 事实上，熵的英文原文为entropy，最初由德国物理学家鲁道夫·克劳修斯提出，其表达式为： 它表示一个系系
TensorFlow中两种多分类损失函数categorical_crossentropy和sparse_categorical_crossentropy间的区别
xunyishuai5020的博客
01-29 3987
TensorFlow中，categorical_crossentropy和sparse_categorical_crossentropy都是交叉熵损失函数，它们的数学意义相同，区别仅在于适用于不同的类别标签编码格式。 当输入数据的类别标签采用独热编码（OneHot Encoding）格式时，模型应采用 categorical_crossentropy 损失函数；当输入数据的类别标签采用序号编码（Label Encoding）格式时，模型应采用 sparse_categorical_crossentropy
tensorflow1.x自动更新到tensorflow2.x contrib问题
10-04
TensorFlow 1.x到TensorFlow 2.x的更新主要涉及到contrib模块的问题。在TensorFlow 1.x中，contrib模块提供了额外的功能和扩展，但在TensorFlow 2.x中被废弃。 TensorFlow 2.x的目标是提供更加简单易用的API，提高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值