【过拟合】深度学习卷积神经网络训练测试集准确率acc=1和验证集准确率val_acc=1 的问题分析与解决+csv文件作为深度学习标签导入+cv2.error: OpenCV(4.1.0)错误解决

最新推荐文章于 2024-09-20 23:39:41 发布
最新推荐文章于 2024-09-20 23:39:41 发布
阅读量1.3w 收藏 78
点赞数 2
文章标签： 神经网络 机器学习 人工智能 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43201920/article/details/105946855
版权
本文记录了深度学习中遇到的训练集与测试集准确率均为1的问题，分析了可能原因如过拟合、数据预处理等，并探讨了解决方案，包括修改学习率、加入dropout、数据增强和批量归一化等。同时，还介绍了如何从csv文件导入深度学习标签和解决OpenCV读取图片的错误。
摘要由CSDN通过智能技术生成

2020/5/6——2020/5/7记录

1读标签

读csv文件作为深度学习标签

将csv文件另存为.csv（逗号分割）文件，然后用记事本打开，将“”，全替换成“;”（注意中英文，程序中和TXT文件中要一致），然后就可以在程序中对txt文件readlines啦。

2 改bug

python 使用opencv读取图片，解决cv2.error: OpenCV(4.1.0) C:\projects\opencv-python\opencv…报错

首先检查文件路径是否正确
如果保证文件路径没有错误的情况下，请检查你的图片格式。我网上下的jpg格式是可以正常读取的，但是当我转化为png 就会报错！所以第二个原因就是你图片的格式问题。

(-215:Assertion failed) !_src.empty() in function ‘cv::cvtColor’

出现这个问题，一般是路径上面的错误，仔细查看自己输入的图片路径是否正确

检查发现自己少写了.jpg，改正后可以正常运行。

3训练集与测试集准确率一直为1，acc=1.0 ,val_acc=1.0

在这里插入图片描述
搜索到以下可能性：
1.模型是否收敛？模型不收敛就是模型问题。

2.数据是否混洗

3.模型是否过拟合。验证集几乎不动，而训练集还在下降，说明过拟合。改模型结构，加正则化，加数据。

4.修改学习速率。减小lr，增大epoch，观察是否能走出局部最小值。
5.不小心给负样本的权重为0？
6.首先对部分简单任务，验证集精度可以到1；其次，如果要验证集和训练集有重合，也会导致精度为1;再不行看看加大验证集试试。还不行就看看数据载入有没有出错，比如label载入的对不对，数据是不是正常，精度计算是不是错了之类的
7.训练集＆验证集＆测试集的数据分布有出入，这是我认为出现这个结果最有可能的原因．分析三个数据集的分布，如果分布不一致那么可以通过改变数据分布来改善你这个问题．如果数据分布没问题，那么就是你的模型复杂度太高，导致过拟合，可以尝试正则化如果第二点也尝试了，那么你可以尝试一些其他的数据集，如果在其他数据集上的表现还可以，那么就确定是你数据集的问题，如果表现同样很差，很有可能是你模型的问题

8 .scale your data before training? Are

最低0.47元/天 解锁文章
王宜宝很牛
关注
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
训练集loss下降，准确率高，测试集loss不变，准确率不变。
m0_69155065的博客
10-15 749
测试集loss不变，准确率不变。以上情况在某种程度上相当于模型不学习了，(只有一组参数，学习完不在学习)epoch，在训练集得到的参数，应用到测试集上。不能等训练集结束再将参数应用到测试集上。在对数据集进行训练时，权重等参数得到更新，应该保证对。
关于深度卷积神经网络训练过程中一开始准确率就是1的问题
四平的博客
10-13 7210
最近在利用DCNN模型训练自己的数据集，利用SS数据集进行测试，做二分类，结果刚开始训练模型的准确率就为1，后面也是这样，主要原因还是数据集打乱的还不够，不能只靠tensorflow的shuffle操作来打乱，最好先打乱顺序后制作好tfrecords文件，再用shuffle函数打乱一次。 主要步骤如下： （1）找到SS标签文件 （2）制作TFRecords文件 （3）开始训练 关于制作TFRecords文件： 制作TFrecords文件代码如下： import tensorflow as tf # 7,8
【深度学习——CNN】训练集准确率和测试集准确率都是1（train_acc:1.000 ,val_acc=1.000）是怎么回事？
weixin_43201920的博客
05-09 1万+
参考Stack Overflow相关问题下面的回答： stackoverflow_What does it mean when training and validation accuracy are 1.000 but results are still poor? 1:Did you scale the data?(data normalization数据标准化 1.1数据标准化与数据归一化定义辨析 深度学习图像分类：首先要对图像做数据预处理——数据标准化和数据归一化。各种博客各种定义说法我都蒙了，看
网络训练时，训练集准确率与验证集准确率都为1？？？
weixin_58309419的博客
03-30 1633
我第一时间并没有去检查数据集，因为在以前的网络训练中也是用的同样的代码生成数据集，所以就肯定数据集没问题，然后就是一顿操作猛如虎，定睛一看原地杵，我尝试减小学习率、加BN、加正则化等等，都得不到明显的改善。修改以后就恢复正常了，所以大家遇到这个问题，一定要先检查数据集，一定要先检查数据集，一定要先检查数据集！今天在训练神经网络的时候，在第一个epoch训练集与验证集的准确率都已经达到了1，后来就检查了一下数据集，结果标签全是0！
百度点石充电桩数据集+源码（acc=1）
10-19
这是百度点石大数据比赛充电桩故障检测的数据集和源码（acc=1）
迁移学习中解决keras模型训练过程中的验证集准确率不变问题
nbxuwentao的博客
04-05 3625
方案一： 设置bn层参数不可变 K.set_learning_phase(0) base_model = tf.keras.applications.ResNet50(weights='imagenet', include_top=False, input_shape=(img_resize, img_resize, 3), ) # 设置bn层参数可变 K.set_learning_phase(1) model=tf.keras.Seque
解决卷积神经网络测试集正确率低
lazyn的博客
10-05 1万+
解决卷积神经网络测试集正确率低问题描述可能的原因最终的原因结论 问题描述 在运用卷积神经网络进行图像识别的过程中，将数据集分为训练集与验证集，首先进行模型的训练，最终模型在训练集与验证集上的正确率均达到0.999，将训练好的模型保存到本地，测试过程中直接读取本地模型对视频帧进行图像识别，正确率却远达不到0.999，即模型在训练集与验证集上的正确率很高，但在测试集上的正确率却很低。 可能的原因 测试集与训练集的图片尺寸不一致； 测试集与训练集的数组维度不一致； 数据未归一化，训练过程中图像为归一化数据，即
【深度学习】【卷积神经网络CNN】验证集准确率val_acc保持不变？过拟合？早停earlystoping的使用。
热门推荐
weixin_43201920的博客
05-09 2万+
2020/5/9 日记录 今天解决了acc 和val_acc一直为1.000的奇怪问题之后（原来是label标错了o(╥﹏╥)o），终于走上了正式的调参之路。 先看一下训练结果： 可以看到： 1.验证集准确率val_acc>训练集准确率train_acc。查资料，属于正常情况，不过也有可能有一些问题，先观察着。 2. 随着epoch迭代，验证集准确率val_acc保持不变了！这不就是传说中过拟合的征兆吗？引用另一篇博客的话 ：“我们之前把数据集切分为训练集，测试集和验证集。验证集就是用来检测模型ove
百度充电桩故障分类（数据）+提交数据（acc=1）
06-03
赛题介绍： 本赛题为新能源汽车充电桩的故障检测问题，赛题提供85500条训练数据（标签：0代表充电桩正常，1代表充电桩有故障），参赛者需对36644条测试数据进行预测。 评价标准： 本赛题采用f1-Score评分
浅谈keras使用中val_acc和acc值不同步的思考
12-17
在Keras训练过程中，我们通常会关注两个关键指标：`acc`(accuracy)和`val_acc`(validation accuracy)，它们分别代表了训练集上的准确率和验证集上的准确率。这两个指标对于监控模型的性能和避免过拟合至关重要。 `...
运行代码时train_acc和val_acc均为0
qq_44846512的博客
08-27 2846
部分代码如下： print('epoch %d, train_loss %.4f, train acc %.3f,test_loss %.4f, test acc %.3f, time %.1f sec' % (epoch + 1, train_loss / 2000 ,train_acc/2000,val_loss/800,val_acc/800, end_time-start_time)) 解决方法：设定train_acc和val_acc数据类型为double即可正常显示。 print('epoch
正确率能很好的评估分类算法吗_算法模型评估：准确率(Accuracy)，精确率(Precision)，召回率和F1-Measure
weixin_39966765的博客
11-22 565
本文首发于个人博客，点击阅读原文序言自然语言处理(ML)、机器学习(NLP)、信息检索(IR)等AI领域，评估(evaluation)是一项非常重要的工作，其模型或算法的评价指标往往有如下几点：准确率(Accuracy)，精确率(Precision)，召回率(Recall)和综合评价指标(F1-Measure)。简单整理，以供参考。准确率（Accuracy）准确率(Accuracy)是一个用于评估...
踩坑记----keras，训练准确率远高于验证准确率，keras底层代码解剖
Chown先森
01-22 6797
前几天，帮朋友处理一个深度学习网络问题，具体场景是这样的，总共有12张，分为3个类别，同时作为训练集跟验证集，训练集跟验证集的预处理一样，使用的模型为ResNet50，最后的激活函数为softmax。使用keras框架，总共10个epoch，每个epoch都是只有1个batch（因为数据集就12张图片，所以一个batch也就12张图片）。 在训练前几个epoch时，训练准确率便达到100%，因为...
训练时，训练误差、精度，和验证误差、精度，都保持不变，是个固定值（难受），这是为啥呢？
shuo_in_csdn的博客
07-17 5923
使用 TensorFlow with Keras，按照《Python 深度学习》（《Deep Learning with Python》）文本和序列处理那章，使用一维卷积Conv1D进行IMBD电影评论情感分类，下面是书里的代码： 结果，运行的时候，出现了训练误差和精度、验证误差和精度都保持不变的情况： 从 model 定义（架构）、optimizer的学习率、fit 时传入的超参数设置等进行考虑，逐步地（循环地（皮））排查，最后发现 model 的输出不太对...
准确率、精确率、召回率、F1值、ROC/AUC整理笔记
bylfsj的博客
02-25 713
原文链接地址：https://blog.csdn.net/u013063099/article/details/80964865   加了部分修改 对于二分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概念来评价分类器的优良。 一、TP、TN、FP、FN概念 首先有关TP、...
解决为什么val_loss的值只有一个
weixin_45532899的博客
04-21 541
训练参数的设置steps_per_epoc，validation_steps
基于神经网络的光线追踪
最新发布
weixin_42605076的博客
09-20 1511
光线追踪是一种通过模拟光线在场景中的传播、反射和折射来生成高度真实感图像的渲染技术。该方法计算光线从相机到场景中的每个物体的路径，追踪光线如何与不同材质的物体相互作用，从而模拟出复杂的阴影、反射、折射和全局光照效果。然而，光线追踪的计算复杂度极高，尤其是在处理反射和折射光线时，计算成本会随着光线的层次增加而快速上升，因此传统光线追踪渲染往往非常耗时。
随机森林怎么绘制损失准确率图像
06-21
随机森林是一种集成学习方法，它通过构建多个决策树并取其平均预测结果来提高模型的稳定性和性能。绘制随机森林的损失（如训练误差或验证误差）与准确率图像有助于我们评估模型的学习过程和泛化能力。 以下是绘制随机森林损失-准确率图的步骤： 1. **数据分割**：通常将数据分为训练集、验证集和测试集。训练集用于训练随机森林模型，验证集用来调整超参数和早期停止。 2. **训练模型**：使用训练集对随机森林模型进行训练。 3. **交叉验证**：在训练过程中，可能需要使用交叉验证（例如k折交叉验证）来计算多次训练和验证的结果，以获取更稳定的结果。 4. **记录指标**：在每次训练迭代中，记录训练损失和验证准确率。训练损失通常表示模型在训练数据上的误差，而验证准确率衡量模型在未知数据上的性能。 5. **绘制图像**：将损失（Y轴）作为横坐标，准确率（Y轴）作为纵坐标，用点或线连接这些点，形成损失-准确率曲线。如果验证准确率在训练过程中持续提升，但最终不再改善，这可能表明过拟合；如果训练损失快速下降，而验证准确率提高较慢，可能说明欠拟合。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值