多分类的loss函数，accuracy理解——手写代码

最新推荐文章于 2025-01-30 10:07:46 发布
最新推荐文章于 2025-01-30 10:07:46 发布
阅读量8.4k 收藏 20
点赞数 3
文章标签： categorical cross entropy loss Keras TensorFlow Accuracy 手写
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/holmes_MX/article/details/87900338
版权
本文探讨了多分类任务中categorical cross entropy损失函数和Accuracy的关系，指出由于Accuracy仅关注最大概率，可能导致高Accuracy伴随高loss。建议在训练时关注loss，但在某些场景下可考虑对最大概率设定阈值来调整。同时，提供了手写Python代码实现loss和Accuracy的计算，并通过实验验证了正确性。
摘要由CSDN通过智能技术生成

0. 写作目的

好记性不如烂笔头。

总结： 博主认为，正是由于Accuracy计算时，采用的是相对最大概率，所以存在计算的loss与accuracy不成正比关系，即当accuracy很高时，有可能存在loss很高，这是由于，我们的目的是：使得最大下标的概率很大，接近于1，但实际是相对最大，导致accuracy很高，loss也很高，如对于三分类，我们期望的预测结果是[1, 0, 0]或者[0.95, 0.02, 0.03]，但可能实际得到的是[0.45, 0.25, 0.3]，此时accuracy的计算结果不变，但是loss值却变动很大。

改进：因此一般训练时，看loss为主。但在发表的论文中存在以accuracy为准则（如VGG论文）。如果以accuracy为主，可以添加约束条件，例如，对相对最大值进行判断。即如果相对最大值大于0.8，认为正确，否则不正确。

1. category cross entropy

最低0.47元/天 解锁文章
holmes_MX
关注
PyTorch深度学习实战（43）——手写文本识别
盼小辉丶的博客
05-21 4397
手写文本识别，也称为手写文本的光学字符识别 (Optical Character Recognition, OCR)，是计算机视觉和自然语言处理中的一项具有挑战性的任务。与印刷文本不同，手写文本在风格、大小和质量方面变化巨大，这使得识别和转录变得更加困难。在本节中，我们将学习如何根据手写文字图像输入生成字符序列，为了提高手写图像的转录性能，将引入 CTC 损失函数。
基于PyTorch的手写数字识别案例实例代码
03-29
交叉熵损失函数适用于多分类问题，而Adam优化器是一种常用的梯度下降优化方法，它具有自适应的学习率调整策略： ```python criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(net.parameters(), lr=...
分类问题中loss 和accuracy区别
ruoruoruo666的博客
11-25 3530
accuracy 在分类问题最常看的指标就是accuracy，它的计算公式一般是由预测正确的样本数/总样本数。但是accuracy本身是个不可导的方程。 在分类任务中，对于一个N类任务，输出就是一个N维的向量，向量每一个位置就代表了一种类别，对应位置的值就代表预测的目标属于该类的概率，对于猫狗的分类，输出向量为[0.2, 0.8],就表示输入的图属于猫的概率为0.2，属于狗的为0.8。在输出预测结果时，我们是取概率最大的索引所对应的的标签作为最终预测的结果标签，在以上的例子中由于狗的概率大于猫，预测输出：
【漫话机器学习系列】070.汉明损失（Hamming Loss）
最新发布
IT古董
01-30 730
汉明损失是多标签分类问题中的一种评价指标，用于衡量预测结果与实际标签之间的差异。它定义为预测错误的标签比例，即错误标签的个数占总标签数量的比值。 在多标签分类中，每个样本可以属于多个类别，因此汉明损失对每个样本的每个类别进行独立评估，而不关心类别之间的相关性。
一文读懂深度学习中的损失函数（Loss Function）：回归损失、二分类损失和多分类损失
CCC的专栏
07-27 1万+
机器学习中的所有算法都依赖于最小化或最大化一个函数，我们称之为损失函数（loss function），或“目标函数”、“代价函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小点最常用的方法是梯度下降法。损失函数就像起伏的山，梯度下降就像从山上滑下来到达最底部的点。 没有一个单一的损失函数可以完美适用于所有类型的数据。它取决于许多因素，包括异常值的存在、机器学习算法的选择、梯度下降的时间效率等等。本文的目的是了解不同的损失函数，以及它们的原理。 损失函数大致可分为两类：分类损失和回归损失，
多分类样本类别分布不均衡-解决方案-损失函数(一)：Focal Loss
u013250861的博客
04-04 3336
当γ一定的时候，比如等于2，一样easy example(pt=0.9)的loss要比标准的交叉熵loss小100+倍，当pt=0.968时，要小1000+倍，但是对于hard example(pt < 0.5)，loss最多小了4倍。因此调制系数就趋于1，也就是说相比原来的loss是没有什么大的改变的。，既然one-stage detector在训练的时候正负样本的数量差距很大，那么一种常见的做法就是给正负样本加上权重，负样本出现的频次多，那么就降低负样本的权重，正样本数量少，就相对提高正样本的权重。
多分类loss函数本质理解
ningyanggege的博客
09-03 1万+
一、面对一个多分类问题，如何设计合理的损失函数呢？       1、损失函数的本质在数学上称为目标函数；这个目标函数的目标值符合最完美的需求；损失函数的目标值肯定是0，完美分类的损失必然为0 ；       2、损失函数分为两部分，一部分为正确的分类，一部分为错误的分类；保留其中任何一个部分都可以达到目标；就好比两条路都可以通向罗马；都可以通过转化均可以令损失函数的最小值为0时，为目标值；（当...
多分类loss、softmax loss与交叉熵的关系
程序的尽头是数学，一日不推导赶不上买买提
05-30 2158
0、引子： 多分类loss采用的是softmax loss，也可称之为softmax交叉熵loss，这个loss中的q就使用的是模型的softmax输出，它就是用来拟合真正的§编码长度的期望 交叉熵越低，这个策略就越好，最低的交叉熵也就是使用了真实分布所计算出来的信息熵，因为此时 ，交叉熵 = 信息熵。这也是为什么在机器学习中的分类算法中，我们总是最小化交叉熵，因为交叉熵越低，就证明由算法所产生的策略最接近最优策略，也间接证明我们算法所算出的非真实分布越接近真实分布。 参见：https://www.cnbl
手写数字识别完整代码+详细文档+模型参数
05-03
在训练过程中，模型的损失函数（loss）和准确率（accuracy，简称acc）会随着epoch迭代而变化，这些关键指标的可视化有助于我们监控模型的训练状态。 断点续训（checkpointing）是训练大模型时常用的一种策略，它...
tensorflow2.0-mnist手写数字识别的代码实例
12-31
《TensorFlow 2.0 实践：MNIST手写数字识别的CNN实现》 MNIST手写数字识别是深度学习领域...MNIST手写数字识别是一个很好的实践案例，可以帮助我们理解深度学习的基本概念和流程，为后续的深度学习项目打下坚实基础。
cifAr 数据集分类代码 CNN Batch-normalization softmax 书写体识别的代码
01-26
最后，为了直观地观察模型训练的过程，代码中还包含了绘制准确率（accuracy）和损失值（loss）图像的部分。准确率图像可以显示出模型在训练集和验证集上的表现，而损失值图像则可以帮助我们了解训练过程是否稳定，...
基于深度学习的手写数字识别系统设计与实现代码大全.doc
10-19
分类过程通常涉及多个步骤。首先，经过预处理的图像会被输入到卷积神经网络（CNN）中。CNN 包含多个卷积层，每个卷积层后跟着一个池化层，用于降低空间维度，减少计算量。激活函数如 ReLU 用于引入非线性，使网络能...
多类别语义分割中常见 Loss 函数总结
muyijames的博客
04-05 8560
图。 欢迎各位进行交流学习。【人肉整理，转载请注明出处】 文章目录1 综述1.1 Dice1.2 Focal loss1.1 Dice with weight1.1 Cross Entropy with weight1.1 Dice + crossEntropy1.2 Dice + Focal loss 1 综述 SPP 1.1 Dice PPM模块代码如下，结合代码更直观： 1.2 Focal loss PPM模块代码如下，结合代码更直观： def categorical_focal_los
深度学习之多分类损失函数用法
CSDN_20200821的博客
11-22 4651
均方差损失函数 均方误差（MSE）的含义是求一个batch中n个样本的n个输出与期望输出的差的平方的平均值。比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为（其中y是我们期望的输出，a为神经元的实际输出）： C=(y-a)² 在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算损失函数对w和b的导数： 然后更新w、b： w <—— w - η* ∂C/∂w = w - η * a σ′(z) b <—— b ...
多分类损失函数（机器学习）
公众号：风景邮递Yuan的博客
11-13 2593
预测值越接近真实标签值，交叉熵损失函数值越小，反向传播的力度越小。为什么不能使用均方差损失函数作为分类问题的损失函数？凸性与最优解求导运算的复杂性和运算量​ 则损失函数为：可以看到由于分类错误，loss2的值比loss1的值大很多。反向传播误差矩阵为：本来是第二类，误判为第一类，所以前两个元素的值很大，反向传播的力度就大。 ​
TensorFlow中loss与val_loss、accuracy和val_accuracy的意义
HUGEJOKER的博客
06-03 2526
loss：训练集损失值 accuracy:训练集准确率 val_loss:测试集损失值 val_accruacy:测试集准确率 以下5种情况可供参考： train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的） train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化） train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset） train loss 趋于不变，te
【Deep learning】——一文知torch分类任务的交叉熵Loss（多分类、多标签任务）
Twilight的博客
06-12 1689
Pytorch 下分类任务的交叉熵Loss
机器学习中分类算法常见评估指标
qq_38815561的博客
02-23 820
1.准确率(Accuracy) 预测正确的样本数量占总量的百分比，具体的公式如下： Accuracy = 准确率有一个缺点，就是数据的样本不均衡，这个指标是不能评价模型的性能优劣的。 假如一个测试集有正样本99个，负样本1个。模型把所有的样本都预测为正样本，那么模型的Accuracy为99%，看评价指标，模型的效果很好，但实际上模型没有任何预测能力。 2.精准率(Precision) 又称为查准率，是针对预测结果而言的一个评价指标。在模型预测为正样本的结果中，真正是正样本所占的百分比，具体公式.
pytorch 多分类中的损失函数
热门推荐
songhuangong123的博客
06-28 1万+
pytorch 中的损失函数：在多分类的时候，我们希望输出是符合概率分布的，所以利用Softmax做了归一化的处理。
python多分类手写数字识别实验代码
05-31
以下是一个基于TensorFlow和Keras的手写数字识别实验代码： ```python import tensorflow as tf from tensorflow import keras import numpy as np import matplotlib.pyplot as plt # 加载MNIST数据集 mnist = keras.datasets.mnist (train_images, train_labels), (test_images, test_labels) = mnist.load_data() # 对数据进行预处理 train_images = train_images / 255.0 test_images = test_images / 255.0 # 构建模型 model = keras.Sequential([ keras.layers.Flatten(input_shape=(28, 28)), keras.layers.Dense(128, activation='relu'), keras.layers.Dense(10, activation='softmax') ]) # 编译模型 model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) # 训练模型 model.fit(train_images, train_labels, epochs=10) # 评估模型 test_loss, test_acc = model.evaluate(test_images, test_labels) print('Test accuracy:', test_acc) # 预测结果 predictions = model.predict(test_images) ``` 上述代码中，我们首先加载MNIST数据集，然后对训练集和测试集的图片数据进行归一化处理。接着，我们构建了一个包含两个Dense层的神经网络模型，其中第一个Dense层有128个神经元，使用ReLU激活函数；第二个Dense层有10个神经元，使用Softmax激活函数。我们使用Adam优化器和稀疏分类交叉熵作为损失函数来编译模型。然后，我们使用训练集数据对模型进行训练，训练10个周期。最后，我们评估模型在测试集上的表现，并对测试集的图片进行预测。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值