一文弄清-BP的过拟合与validationCheck

已于 2024-01-11 20:09:37 修改
阅读量832 收藏 6
点赞数
文章标签： 机器学习 matlab 深度学习
于 2023-04-16 21:55:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dbat2015/article/details/130188864
版权

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com

BP神经网络的训练经常会遇到过拟合的情况，导致模型在训练效果上很好但预测效果差
正因如此，matlab工具箱引入validationCheck来防止BP神经网络走向过拟合
本文介绍过拟合是什么，并讲解validationCheck是如何防止BP神经网络走向过拟合的

目录

一、BP神经网络的过拟合     

1.1 BP神经网络与过拟合

二、 BP神经网络的validationCheck     

2.1 什么是BP神经网络的validationCheck

2.2 BP神经网络-validationCheck的相关设置

一、BP神经网络的过拟合     

本节简单讲解什么是BP神经网络的过拟合

1.1 BP神经网络与过拟合

我们训练BP神经网络主要用于拟合数据，
但是往往出现以下的情况 


上面第二种情况就称为过拟合
可以看到，第二种情况比第一种情况在数据点上拟合得更好
但第二种情况为了强行拟合训练数据，
导致曲线非常跌宕，已经偏离了我们想要的形态
总的来说
过拟合时，模型虽然在训练数据上拟合得更好，
但拟合出的曲线已经偏离了我们想要的形态
过拟合会导致数据在预测上效果非常差

二、 BP神经网络的validationCheck     

本节介绍BP神经网络的validationCheck是什么
并展示与validationCheck相关的设置

2.1 什么是BP神经网络的validationCheck

    我们知道，当过拟合时，未经训练的数据预测效果会较差
为了避免过拟合，matlab会把训练数据预留一部分验证数据
在训练时，会用这部分数据不断测试BP神经网络的预测能力
这个过程就是validationCheck(验证数据检验)


如上图所示，本来已经训练得差不多了，
如果再强行不顾一切拟合训练数据，而使曲线非常跌宕时，
未训练的数据就会预测得非常不准确
因此，加入validationCheck
如果检测到训练数据的效果越来越好
而验证数据的效果越来越差，则说明模型正在走向过拟合   
这时再把训练数据训练得更精准，也没有太大意义
当验证数据连续N次变得更差时，模型就会停止训练

2.2 BP神经网络-validationCheck的相关设置

与validation相关的设置有
👉1. 验证数据的划分             
👉2. validationCheck的步数

关于验证数据的划分
 验证数据的划分由以下参数设置

    net.divideParam.trainRatio   = 0.7;             % 用于训练的数据比例                 
    net.divideParam.valRatio     = 0.15 ;           % 用于验证过拟合的数据比例       
    net.divideParam.testRatio    = 0.15;            % 用于比例          

以上就是matlab工具箱的默认配置，
它代表用15%的数据作为验证数据，
我们可以调整net.divideParam.valRatio参数来控制验证数据的划分占比
但是，修改后别忘了把trainRatio和testRatio也修改一下，使三者的总和为1


validationCheck的步数设置
validationCheck的步数由以下参数设置

net.trainparam.max_fail = 6;    % 过拟合验证失败次数

以上就是matlab工具箱的默认配置，
它代表用失败6次就终止训练

相关文章

《BP神经网络梯度推导》

《BP神经网络提取的数学表达式》

《一个BP的完整建模流程》

老饼讲解-BP神经网络
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
神经网络解决过拟合的方法,神经网络过拟合解决
aifamao3的博客
08-20 1596
。人工神经网络第一次作业题目：使用函数sin()autecu试验MATLAB中的BP算法1、改变不同训练算法，观察效果；2、改变参数a,c的值，观察效果；3、改变隐层神经网络个数，观察效果；4、尝试：加入噪声的训练效果。一、改变不同训练算法，观察效果在MATLAB中，BP网络的训练函数一共有以下几种，改变不同训练算法，观察效果就是在其他参数不变只改变程序中训练函数的情况下，得到不同训练算法的训练结果。训练方法训练函数梯度下降法traingd有动量的梯度下降法traingdm自适应lr梯度下降法trai
神经网络的过拟合是什么,神经网络解决过拟合
super67269的博客
08-20 689
disp('预测值')disp(A)%画出预测图figure(1),plot(t,iinput,'bo-'),holdonplot(t(end):t1(end),[iinput(end),f_out],'rp-'),gridontitle('BP神经网络预测某地铁线路客流量')xlabel('月号'),ylabel('客流量（百万）');
BP神经网络预测中“过拟合”现象控制研究
01-26
BP神经网络预测中“过拟合”现象控制研究，杨锡鎏，周翠英，针对BP神经网络在预测建模中存在的“过拟合”问题，改进了前人定义的逼近误差表达式，使其物理意义更明确；重新定义了逼近度的表�
Matlab BP神经网络之validation checks
OneSea的专栏
05-16 2万+
Matlab版本：Matlab 2014a 1 问题描述     bp网络设置如下 net = newff(all_tra, all_bar, 9, {'tansig','purelin'}, 'trainbfg'); net = init(net); net.trainParam.goal=0.0001; %设置相应的参数 net.trainParam.show=5
BP神经网络中的过拟合现象
热门推荐
小小攻城狮
04-19 2万+
毕设：基于BP神经网络的网络病毒预测模型 过拟合
如何判断BP神经网络预测过拟合了
weixin_35755188的博客
01-11 423
当BP神经网络在训练数据上表现良好但在测试数据上表现糟糕时，就可能是过拟合了。另外，如果训练数据的损失值下降很快，而测试数据的损失值变化不大，也可能是过拟合的情况。 可以通过增加训练数据的数量、增加正则化来降低过拟合的风险。 ...
一文看懂NB-IoT与eMTC的技术比较
01-19
　从NB-IoT与eMTC的技术比较，看中国三大运营商在NB-IoT和eMTC上的选择策略 　从运营商来看，AT&T、Verizon、KDDI、KPN、Orange、NTT DoCoMo、Telefonica、Telstra、Telus等都先后开展了eMTC的商用。 　在我国，...
一文读懂物联网NB-IoT与LoRa的区别
01-19
物联网的无线通信技术很多，主要分为两类：一类是Zigbee、WiFi、蓝牙、Z－wave等短距离通信技术；另一类是LPWAN（low－powerWide－AreaNetwork，低功耗广域网），即广域网通信技术。物联网的快速发展对无线通信技术...
一文弄清物联网的OTA
02-24
本文来自于csdn，OTA固件升级可让开发人员随着时间的推移增强产品功能，并修补产品缺陷。最后，选择可满足您的应用需求,更多详细内容请阅读下文。许多嵌入式系统部署在人类...在IoT固/软件更新及开源选项一文中，学习了
一文让你读懂工业4.0-智能制造与工业互联网.pdf
07-14
一文让你读懂工业4.0-智能制造与工业互联网.一文让你读懂工业4.0-智能制造与工业互联网.一文让你读懂工业4.0-智能制造与工业互联网.一文让你读懂工业4.0-智能制造与工业互联网.一文让你读懂工业4.0-智能制造与工业...
神经网络中避免过拟合5种方法介绍
07-13
最近一年我一直致力于深度学习领域。这段时间里，我使用过很多神经网络，比如卷积神经网络、循环神经网络、自编码器等等。我遇到的最常见的一个问题就是在训练时，深度神经网络会过拟合。
用BP神经网络进行数据拟合
AndrewGSD的博客
02-09 7287
1 首先是数据准备 我是直接在MATLAB里面导入的原始数据simplefit_dataset 导入数据后，画出原始数据看看： figure(1); plot(simplefitInputs, simplefitTargets,’+’); 下图就是原始数据的图像 2 用神经网络进行数据拟合 调用MATLAB里面的神经网络的函数，调用fitnet函数，并且设置中间层神经元个数为10个，net=fi...
神经网络之过拟合（附代码）
gdyshi的博客
12-09 8783
摘要 监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。 什么是过拟合 一个假设在训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好地拟合数据，此
关于神经网络中过拟合的问题
captain618的博客
09-23 1万+
关于神经网络中过拟合的问题在训练的时候你的模型是否会出现训练时速度很慢？或者预测结果与训练结果相差过大的现象？那我们可能就需要处理一下过拟合的问题了。首先看一下overfitting维基百科上的一些信息： Overfitting occurs when a model is excessively complex, such as having too many parameters relati
神经网络之过拟合与欠拟合
zhf的博客
03-03 6298
快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/Command + I 标题：Ctrl/Command + Shift + H 无序列表：Ctrl/Command + Shift + U 有序列表：Ctrl/Command + Shift + O 检查列表：Ctrl/Command + Shift + ...
如何防止BP神经网络预测过拟合
weixin_35752233的博客
01-11 690
防止BP神经网络预测过拟合的常用方法有: 使用正则化(Regularization)方法, 例如 L1 和 L2 正则化, 限制权重矩阵的值, 减小权重矩阵中元素的大小。 使用Dropout, 随机让一部分神经元的输出值设置为0, 减少过拟合。 使用数据增强(data augmentation)方法, 增加训练数据的样本量。 使用早停法(early stopping)方法，在验证集上的性能不再提...
数据很差，如何提高bp神经网络的拟合效果值
weixin_42576186的博客
02-13 1190
提高BP神经网络的拟合效果有以下几种方法： 增加网络的复杂度：增加神经元的数量，增加隐藏层数可以提高网络的表示能力。 调整学习率：学习率太大会导致网络不稳定，太小则学习效果不佳。找到合适的学习率非常重要。 正则化：正则化可以防止网络过拟合。常用的正则化方法有L1正则和L2正则。 更换激活函数：不同的激活函数对网络的表示能力有不同的影响，可以试着使用不同的激活函数来提高网络的拟合效果。 增...
matlab神经网络过拟合,BP神经网络过拟合问题
weixin_29365481的博客
03-17 2068
如果样本比较多的话可以用 [trainV,valV,testV] = dividevec(p,t,valPercent,testPercent)，然后运用 net = train(net,trainV.P,trainV.T,[],[],valV,testV);方式来训练网络这就是来防止过拟合的。你可以试试。具体的例子：%bp神经网络进行交通预测的Matlab源代码% BP 神经网络用于预测% 使用...
《机器学习》学习笔记（五）——神经网络
闭关修炼——暂退
04-24 1952
机器学习(Machine Learning)是一门多学科交叉专业，涵盖概率论知识，统计学知识以及复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提高学习效率。本专栏将以学习笔记形式对《机器学习》的重点基础知识进行总结整理，欢迎大家一起学习交流！专栏链接：《机器学习》学习笔记 1. 概述 神经网络是由具有适应性的简单单元组成的广泛并行互...
一文看懂faster-rcnn
最新发布
08-23
Faster R-CNN是一种目标检测算法，用于在图像中定位和识别物体。它是R-CNN算法的改进版本，通过引入区域提议网络（Region Proposal Network，RPN）来提高检测的速度。 Faster R-CNN的工作流程可以分为两个阶段：区域提议和物体分类。 在区域提议阶段，首先使用卷积神经网络（CNN）对输入图像进行特征提取。然后，RPN通过滑动窗口在特征图上生成一系列候选区域。每个候选区域都有一个边界框（bounding box）和一个预测得分。RPN通过一个二分类器来判断每个候选区域是否包含感兴趣的物体，并根据得分对候选区域进行排序。 在物体分类阶段，对于每个候选区域，使用RoI池化层将其映射为固定大小的特征向量。然后，这些特征向量通过全连接层进行分类和回归，得到每个候选区域的类别预测和边界框坐标调整。 整个网络采用端到端的训练方式，在训练过程中同时优化RPN和分类网络。训练时，通过计算候选区域与真实标注框之间的IoU（交并比）来确定正负样本，并使用多任务损失函数进行优化。 Faster R-CNN相比于R-CNN，通过引入RPN网络实现了端到端的训练，避免了繁琐的候选区域提取过程，大大提高了检测的速度和准确性。同时，Faster R-CNN还可以通过改变RPN的输出尺度来检测不同大小的物体。这使得Faster R-CNN成为目标检测领域的重要方法之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老饼讲解-BP神经网络

请老饼喝杯咖啡

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值