【过拟合】深度学习卷积神经网络训练测试集准确率acc=1和验证集准确率val_acc=1 的问题分析与解决+csv文件作为深度学习标签导入+cv2.error: OpenCV(4.1.0)错误解决

最新推荐文章于 2025-03-24 10:07:21 发布
最新推荐文章于 2025-03-24 10:07:21 发布
阅读量1.3w 收藏 79
点赞数 2
文章标签： 神经网络 机器学习 人工智能 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43201920/article/details/105946855
版权
本文记录了深度学习中遇到的训练集与测试集准确率均为1的问题，分析了可能原因如过拟合、数据预处理等，并探讨了解决方案，包括修改学习率、加入dropout、数据增强和批量归一化等。同时，还介绍了如何从csv文件导入深度学习标签和解决OpenCV读取图片的错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2020/5/6——2020/5/7记录

1读标签

读csv文件作为深度学习标签

将csv文件另存为.csv（逗号分割）文件，然后用记事本打开，将“”，全替换成“;”（注意中英文，程序中和TXT文件中要一致），然后就可以在程序中对txt文件readlines啦。

2 改bug

python 使用opencv读取图片，解决cv2.error: OpenCV(4.1.0) C:\projects\opencv-python\opencv…报错

首先检查文件路径是否正确
如果保证文件路径没有错误的情况下，请检查你的图片格式。我网上下的jpg格式是可以正常读取的，但是当我转化为png 就会报错！所以第二个原因就是你图片的格式问题。

(-215:Assertion failed) !_src.empty() in function ‘cv::cvtColor’

出现这个问题，一般是路径上面的错误，仔细查看自己输入的图片路径是否正确

检查发现自己少写了.jpg，改正后可以正常运行。

3训练集与测试集准确率一直为1，acc=1.0 ,val_acc=1.0

在这里插入图片描述
搜索到以下可能性：
1.模型是否收敛？模型不收敛就是模型问题。

2.数据是否混洗

3.模型是否过拟合。验证集几乎不动，而训练集还在下降，说明过拟合。改模型结构，加正则化，加数据。

4.修改学习速率。减小lr，增大epoch，观察是否能走出局部最小值。
5.不小心给负样本的权重为0？
6.首先对部分简单任务，验证集精度可以到1；其次，如果要验证集和训练集有重合，也会导致精度为1;再不行看看加大验证集试试。还不行就看看数据载入有没有出错，比如label载入的对不对，数据是不是正常，精度计算是不是错了之类的
7.训练集＆验证集＆测试集的数据分布有出入，这是我认为出现这个结果最有可能的原因．分析三个数据集的分布，如果分布不一致那么可以通过改变数据分布来改善你这个问题．如果数据分布没问题，那么就是你的模型复杂度太高，导致过拟合，可以尝试正则化如果第二点也尝试了，那么你可以尝试一些其他的数据集，如果在其他数据集上的表现还可以，那么就确定是你数据集的问题，如果表现同样很差，很有可能是你模型的问题

8 .scale your data before training? Are

最低0.47元/天 解锁文章
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
【深度学习】【卷积神经网络CNN】验证集准确率val_acc保持不变？过拟合？早停earlystoping的使用。
weixin_43201920的博客
05-09 2万+
2020/5/9 日记录 今天解决了acc 和val_acc一直为1.000的奇怪问题之后（原来是label标错了o(╥﹏╥)o），终于走上了正式的调参之路。 先看一下训练结果： 可以看到： 1.验证集准确率val_acc>训练集准确率train_acc。查资料，属于正常情况，不过也有可能有一些问题，先观察着。 2. 随着epoch迭代，验证集准确率val_acc保持不变了！这不就是传说中过拟合的征兆吗？引用另一篇博客的话 ：“我们之前把数据集切分为训练集，测试集和验证集。验证集就是用来检测模型ove
【深度学习——CNN】训练集准确率和测试集准确率都是1（train_acc:1.000 ,val_acc=1.000）是怎么回事？
weixin_43201920的博客
05-09 1万+
参考Stack Overflow相关问题下面的回答： stackoverflow_What does it mean when training and validation accuracy are 1.000 but results are still poor? 1:Did you scale the data?(data normalization数据标准化 1.1数据标准化与数据归一化定义辨析 深度学习图像分类：首先要对图像做数据预处理——数据标准化和数据归一化。各种博客各种定义说法我都蒙了，看
【深度学习】训练集、测试集、验证集、过拟合、欠拟合详解
码农努力学习
03-24 1378
在机器学习和深度学习中，数据集的划分是模型训练过程中至关重要的一步。常见的数据划分方式包括：训练集（Training Set）、验证集（Validation Set）和测试集（Test Set），本文将详细介绍他们的作用。
网络训练时，训练集准确率与验证集准确率都为1？？？
weixin_58309419的博客
03-30 1930
我第一时间并没有去检查数据集，因为在以前的网络训练中也是用的同样的代码生成数据集，所以就肯定数据集没问题，然后就是一顿操作猛如虎，定睛一看原地杵，我尝试减小学习率、加BN、加正则化等等，都得不到明显的改善。修改以后就恢复正常了，所以大家遇到这个问题，一定要先检查数据集，一定要先检查数据集，一定要先检查数据集！今天在训练神经网络的时候，在第一个epoch训练集与验证集的准确率都已经达到了1，后来就检查了一下数据集，结果标签全是0！
关于深度卷积神经网络训练过程中一开始准确率就是1的问题
四平的博客
10-13 7531
最近在利用DCNN模型训练自己的数据集，利用SS数据集进行测试，做二分类，结果刚开始训练模型的准确率就为1，后面也是这样，主要原因还是数据集打乱的还不够，不能只靠tensorflow的shuffle操作来打乱，最好先打乱顺序后制作好tfrecords文件，再用shuffle函数打乱一次。 主要步骤如下： （1）找到SS标签文件 （2）制作TFRecords文件 （3）开始训练 关于制作TFRecords文件： 制作TFrecords文件代码如下： import tensorflow as tf # 7,8
神经网络与深度学习---验证集（测试集）准确率高于训练集准确率的原因
热门推荐
xtcc的博客
12-26 3万+
1.数据集太小，这样会导致数据集切分的时候不均匀，也就是说训练集和测试集的分布不均匀，如果模型能够正确地捕捉到数据内部的分布模式的话，就有可能造成训练集的内部方差大于验证集，会造成训练集的误差更大，这个时候就需要重新划分数据集，使其分布一样。 2.模型正则化过多，比如训练时dropout过多，和验证时的模型相差较大，验证时是不会有dropout的。 Dropout能基本上确保测试集的准确性最好，优于训练集的准确性。Dropout迫使神经网络成为一个非常大的弱分类器集合，这就意味着，一个单独的分类器没有太高的
Tensorflow 学习笔记：Mnist 手写训练集调试，准确率变为0.1的解决办法及如何将准确率调高到98%以上
hu_hao的博客
07-11 5058
小白学习笔记：Mnist 手写训练集 加入隐藏层后准确率变为0.1的解决办法提高神经网络准确率的尝试调小每次训练的批次大小 提高神经网络准确率的尝试 首先是增加隐藏层数，这样有助于提高结果的非线性性，我这里加入了一个100个神经元的中间层，训练目标是将准确率提高到95%以上，不高的要求，事实证明加一层就足够了。 #构建神经网络784-100-10 w_L1=tf.Variable(tf.zeros...
浅谈keras使用中val_acc和acc值不同步的思考
12-17
在Keras训练过程中，我们通常会关注两个关键指标：`acc`(accuracy)和`val_acc`(validation accuracy)，它们分别代表了训练集上的准确率和验证集上的准确率。这两个指标对于监控模型的性能和避免过拟合至关重要。 `...
数学推导+纯Python实现机器学习算法2：逻辑回归
weixin_37737254的博客
09-03 490
自本系列第一讲推出以来，得到了不少同学的反响和赞成，也有同学留言说最好能把数学推导部分写的详细点，笔者只能说尽力，因为打公式实在是太浪费时间了。。本节要和大家一起...
模型过拟合
wyqwilliam的博客
09-04 1472
训练模型都会将数据集分为两部分，一般会将0.8比例的数据集作为训练集，将0.2比例的数据集作为测试集，来训练模型。模型过拟合就是训练出来的模型在训练集上表现很好，但是在测试集上表现较差的一种现象，也就是模型对已有的训练集数据拟合的非常好（误差值等于0），对于测试集数据拟合的非常差，模型的泛化能力比较差。 如何判断模型发生过拟合？ 训练出模型后，可以在训练集中测试下模型的正确率，在测试集中测试下...
百度点石充电桩数据集+源码（acc=1）
10-19
这是百度点石大数据比赛充电桩故障检测的数据集和源码（acc=1）
百度充电桩故障分类（数据）+提交数据（acc=1）
06-03
赛题介绍： 本赛题为新能源汽车充电桩的故障检测问题，赛题提供85500条训练数据（标签：0代表充电桩正常，1代表充电桩有故障），参赛者需对36644条测试数据进行预测。 评价标准： 本赛题采用f1-Score评分
迁移学习中解决keras模型训练过程中的验证集准确率不变问题
nbxuwentao的博客
04-05 3761
方案一： 设置bn层参数不可变 K.set_learning_phase(0) base_model = tf.keras.applications.ResNet50(weights='imagenet', include_top=False, input_shape=(img_resize, img_resize, 3), ) # 设置bn层参数可变 K.set_learning_phase(1) model=tf.keras.Seque
解决卷积神经网络测试集正确率低
lazyn的博客
10-05 1万+
解决卷积神经网络测试集正确率低问题描述可能的原因最终的原因结论 问题描述 在运用卷积神经网络进行图像识别的过程中，将数据集分为训练集与验证集，首先进行模型的训练，最终模型在训练集与验证集上的正确率均达到0.999，将训练好的模型保存到本地，测试过程中直接读取本地模型对视频帧进行图像识别，正确率却远达不到0.999，即模型在训练集与验证集上的正确率很高，但在测试集上的正确率却很低。 可能的原因 测试集与训练集的图片尺寸不一致； 测试集与训练集的数组维度不一致； 数据未归一化，训练过程中图像为归一化数据，即
运行代码时train_acc和val_acc均为0
qq_44846512的博客
08-27 2938
部分代码如下： print('epoch %d, train_loss %.4f, train acc %.3f,test_loss %.4f, test acc %.3f, time %.1f sec' % (epoch + 1, train_loss / 2000 ,train_acc/2000,val_loss/800,val_acc/800, end_time-start_time)) 解决方法：设定train_acc和val_acc数据类型为double即可正常显示。 print('epoch
正确率能很好的评估分类算法吗_算法模型评估：准确率(Accuracy)，精确率(Precision)，召回率和F1-Measure
weixin_39966765的博客
11-22 600
本文首发于个人博客，点击阅读原文序言自然语言处理(ML)、机器学习(NLP)、信息检索(IR)等AI领域，评估(evaluation)是一项非常重要的工作，其模型或算法的评价指标往往有如下几点：准确率(Accuracy)，精确率(Precision)，召回率(Recall)和综合评价指标(F1-Measure)。简单整理，以供参考。准确率（Accuracy）准确率(Accuracy)是一个用于评估...
踩坑记----keras，训练准确率远高于验证准确率，keras底层代码解剖
Chown先森
01-22 7069
前几天，帮朋友处理一个深度学习网络问题，具体场景是这样的，总共有12张，分为3个类别，同时作为训练集跟验证集，训练集跟验证集的预处理一样，使用的模型为ResNet50，最后的激活函数为softmax。使用keras框架，总共10个epoch，每个epoch都是只有1个batch（因为数据集就12张图片，所以一个batch也就12张图片）。 在训练前几个epoch时，训练准确率便达到100%，因为...
训练时，训练误差、精度，和验证误差、精度，都保持不变，是个固定值（难受），这是为啥呢？
shuo_in_csdn的博客
07-17 6118
使用 TensorFlow with Keras，按照《Python 深度学习》（《Deep Learning with Python》）文本和序列处理那章，使用一维卷积Conv1D进行IMBD电影评论情感分类，下面是书里的代码： 结果，运行的时候，出现了训练误差和精度、验证误差和精度都保持不变的情况： 从 model 定义（架构）、optimizer的学习率、fit 时传入的超参数设置等进行考虑，逐步地（循环地（皮））排查，最后发现 model 的输出不太对...
过拟合，准确率，召回率，F1是什么
最新发布
03-30
<think>嗯，用户让我解释过拟合、准确率、召回率和F1是什么。首先，我需要确保自己对这些概念有准确的理解。过拟合是机器学习中的一个常见问题，当模型在训练数据上表现太好，但在新数据上表现差的时候，就是过拟合了。可能是因为模型太复杂，记住了训练数据的噪声，导致泛化能力差。 接下来是准确率，这应该是分类问题中的指标，正确预测的比例。但准确率有时候不太可靠，特别是数据不平衡的时候。比如，如果有99%的正例和1%的负例，模型全预测正例也会有99%的准确率，但其实没用。 然后是召回率，这应该和查全率有关，即实际为正例的样本中，模型正确找出了多少。比如在疾病检测中，召回率高意味着漏诊少。不过召回率高可能伴随着很多误报，这时候精确率可能低。 F1分数应该是精确率和召回率的调和平均，用来平衡两者。调和平均比算术平均更严格，因为如果其中一个值低，F1也会低。这样能确保模型在精确率和召回率之间取得平衡。 用户可能需要这些概念来评估和调整他们的模型。比如，他们可能在处理分类问题，特别是数据不平衡的情况。需要解释每个指标的用途和局限性，以及如何综合使用它们来评估模型性能。同时，过拟合是模型训练中需要注意的问题，可能需要提到防止过拟合的方法，比如交叉验证、正则化、简化模型等。 要确保用中文解释清楚，结构清晰，分点说明。可能需要用例子帮助理解，比如在医疗检测中，召回率的重要性。还要注意数学公式的正确使用，用户给的例子中使用$...$和$$...$$格式，所以准确率、召回率、F1的公式需要用行内数学表达式，而如果有独立公式的话用$$...$$。比如，F1的公式是2*(准确率*召回率)/(准确率+召回率)，需要用LaTeX正确表达。 要检查是否有遗漏或混淆的地方，比如精确率（Precision）和准确率（Accuracy）的区别，用户可能容易混淆这两个术语。需要明确区分，准确率是整体正确率，精确率是预测为正例中的正确比例，召回率是实际正例中的预测正确比例。 另外，可能需要提到混淆矩阵，因为准确率、召回率、精确率都是基于混淆矩阵的。不过用户没有提到，所以可以简要带过，但重点放在四个概念本身。 最后，总结这些指标的应用场景，比如过拟合如何影响这些指标，如何通过验证集检测过拟合，以及在不同问题中如何选择侧重准确率还是召回率，或者使用F1来平衡两者。</think>### 逐步解释：过拟合、准确率、召回率、F1 --- #### 1. **过拟合（Overfitting）** - **定义**：模型在训练数据上表现极佳，但在新数据（测试数据或实际应用）上表现显著下降的现象。 - **原因**： - 模型过于复杂（例如神经网络层数过多、决策树分支过深）。 - 训练数据量不足或包含噪声。 - **示例**：假设用高阶多项式拟合线性数据，模型会完美匹配训练点，但无法泛化到新数据。 - **解决方法**： - 增加训练数据。 - 简化模型结构（如减少参数）。 - 使用正则化（如L1/L2正则化）。 - 交叉验证（Cross-validation）。 --- #### 2. **准确率（Accuracy）** - **定义**：分类任务中，模型预测正确的样本数占总样本数的比例。 - **公式**： $$\text{准确率} = \frac{\text{正确预测数}}{\text{总样本数}} = \frac{TP + TN}{TP + TN + FP + FN}$$ 其中： - $TP$（True Positive）：实际为正类，预测为正类。 - $TN$（True Negative）：实际为负类，预测为负类。 - $FP$（False Positive）：实际为负类，预测为正类（误报）。 - $FN$（False Negative）：实际为正类，预测为负类（漏报）。 - **局限性**： 在类别不平衡时（如99%负样本），模型全预测为负类也能获得高准确率，但实际意义有限。 --- #### 3. **召回率（Recall）** - **定义**：实际为正类的样本中，被模型正确预测为正类的比例，反映“查全能力”。 - **公式**： $$\text{召回率} = \frac{TP}{TP + FN}$$ - **应用场景**： 注重“减少漏检”的任务，如疾病诊断（宁可误报，不可漏诊）。 - **局限性**： 召回率高可能导致误报增多（FP增加），需与精确率（Precision）权衡。 --- #### 4. **F1分数（F1 Score）** - **定义**：精确率（Precision）和召回率（Recall）的调和平均数，用于综合评估模型性能。 - **公式**： $$F1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$$ 其中： - $\text{Precision} = \frac{TP}{TP + FP}$（预测为正类的样本中，实际为正类的比例）。 - **特点**： - 调和平均对极端值敏感，要求精确率和召回率均较高时，F1才会高。 - 适用于类别不平衡问题（如欺诈检测）。 --- ### 总结表格 | 指标 | 公式 | 核心意义 | 适用场景 | |------------|-----------------------------------|------------------------------|------------------------| | 准确率 | $\frac{TP+TN}{TP+TN+FP+FN}$ | 整体预测正确率 | 类别均衡问题 | | 召回率 | $\frac{TP}{TP+FN}$ | 减少漏检（查全能力） | 疾病诊断、安全检测 | | F1分数 | $2 \cdot \frac{P \cdot R}{P+R}$ | 平衡精确率与召回率 | 类别不平衡、综合评估 | --- ### 实际应用建议 1. **过拟合检测**：训练集准确率高但验证集低 → 过拟合。 2. **指标选择**： - 重视减少漏检（如癌症筛查） → 优化召回率。 - 重视减少误报（如垃圾邮件分类） → 优化精确率。 - 平衡二者 → 使用F1分数。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值