tensorflow模型不收敛的原因

最新推荐文章于 2023-02-28 17:18:16 发布
最新推荐文章于 2023-02-28 17:18:16 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： 机器学习算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoshan4783/article/details/103816744
版权

模型不收敛的原因

1.数据量少的话，一般不会带来不收敛
不收敛一般是由于样本的信息量太大导致网络不足以fit住整个样本空间，样本少只可能带来过拟合的问题。
降低过拟合的方法：比如dropout，SGD，增大minibatch的数量，减少fc层的节点数量，momentum，finetune等。

2.尽量收集更多的数据

3.尽可能用小模型
数据量太少应考虑缩小模型复杂度。考虑减少层数或者减少kernel number

小小码农JACK
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
神经网络做regression，模型不收敛
Talk Is Cheap
04-19 3873
改成最后一层没有激活函数
【tensorflow】mnists训练不收敛，并在迭代训练后，提示内存申请错误
KISS人生
07-05 871
学习tensorflow，自然是会想要先从mnist开始，简单看了官方教程之后，我选择了这篇博客文章follow一下https://my.oschina.net/u/876354/blog/1926060 训练不收敛问题 而在follow这篇文章代码的时候，遇到了训练不收敛的情况，并且在训练的最后一次迭代，会提示内存不够用了，大部分报错附在文末。网上很多提到内存申请错误的帖子，都说是batch设置太大了，不过这个明显不是这个问题，因为是在最后内存不够了，但是之前迭代过程中的training accuracy
关于训练深度学习模型deepNN时，训练精度维持固定值，模型不收敛的解决办法（tensorflow实现）
QQ704630835的博客
10-11 1万+
一、背景 最近一直在做人脸表情的识别，用到的程序是之间的一篇文章中的程序：深度学习（一）——deepNN模型实现摄像头实时识别人脸表情（C++和python3.6混合编程）。这里我只进行了简单的程序修改。 由于该程序是利用fer2013数据集做的，效果不是很好，人脸表情的识别精度仅有70%左右，因此我想自己制作数据集，自己训练模型，关于如何制作数据集，可参考文章：从零开始制作人脸表情的数据集。...
神经网络模型不收敛的处理
热门推荐
rosefun96的博客
12-22 3万+
1、learning rate设大了0.1~0.0001.不同模型不同任务最优的lr都不一样。我现在越来越不明白TensorFlow了，我设置训练次数很大的时候，它一开始就给我“收敛”到一个值，后面的值都一样。2、归一化参考： 深度学习收敛问题； 训练深度神经网络
【TensorFlow学习笔记】基础篇（五）— —神经网络的优化
Jarvis_lele的博客
03-20 244
绪论 优化是非常困难的一类问题,而这正是深度学习的核心。优化问题是如此困难,以至于在神经网络引入几十年后,深度神经网络的优化问题仍阻碍着它们的推广,并导致了其 20世纪 90 年代到 21 世纪初的衰落。网络越深，优化问题就越难。 目录绪论1、激活函数① 作用：② 常见的激活函数Sigmoid函数Tanh函数Softmax激活函数ReLU激活函数③ 选择正确的激活函数2、损失函数常见的三种损失函...
TensorFlow实现MLP多层感知机模型
09-20
在本文中，我们将探讨如何使用TensorFlow实现多层感知机（MLP）模型。多层感知机是一种深度学习模型，通常用于分类任务，特别是处理复杂的非线性关系。在TensorFlow中构建这样的模型，我们需要理解其基本原理、过...
Tensorflow实现二次元图像的超分辨率
01-19
使用tensorflow实现了一个vgg-style网络，用于对动漫风格的图像进行超分辨率处理。 解压后源码在src目录下，data目录下是用于训练的数据，data/originals目录用于存放你收集的原始无损图片，运行make_noisefree_data...
如何用Tensorflow训练模型成pb文件和和如何加载已经训练好的模型文件1
08-08
TensorFlow模型训练和加载pb文件 TensorFlow是一个Popular的开源机器学习框架，由Google开发和维护。TensorFlow提供了多种方式来构建、训练和部署机器学习模型。今天，我们将讨论如何使用TensorFlow训练模型，并将...
Tensorflow Summary用法学习笔记
09-18
通过这些工具，你可以监控模型的训练进度，检查梯度消失或爆炸、权重是否合理初始化、损失是否收敛等关键问题。这对于理解和优化模型至关重要。同时，TensorBoard还支持其他高级功能，如绘制模型图、查看层间的依赖...
tensorflow自定义激活函数实例
09-18
在 TensorFlow 中，可以通过 `tf.py_func` 来实现自定义操作，但要注意的是，如果仅提供自定义的激活函数而没有相应的梯度函数，模型可能无法正常训练，因为 TensorFlow 需要梯度来进行反向传播。 以下是一步步创建...
【深度学习基础知识 - 17】模型不收敛的原因以及处理方法
yanyuxiangtoday的博客
08-19 1万+
模型不收敛通常指模型在训练过程中无法收敛，这并不能说明模型无效，可以从以下几个方面分析： 数据量过大，而模型过小。 学习率设置过大，导致了loss震荡，进而导致模型无法收敛。 数据分布较为复杂，没有进行归一化设置，导致每次迭代模型都往不同的方向上优化。 可能出现了梯度爆炸或者梯度消失，可以看梯度消失和梯度爆炸的解决方法. 代码是不是有bug，导致迭代的时候优化器没有进行参数的更新。 ...
STATA 关于xsmle命令，空间杜宾不收敛，convergence not achieved的问题解决办法
Sanfenpai6的博客
01-14 7426
正如可以查到的办法那样，使用from() 设置处置，慢慢调整最终求得收敛结果。不过这几天的尝试，感觉有个比较有效的调试方法，只是经验之谈，或许是玄学也说不定。比如我这一段代码，显示不收敛。然后就要进行from调试，代码如下需要放上从Main的第一个变量到variance2_e的初始值，我这里应该是要放20个数值。
Tensorflow深度学习对遥感图像分类，内存不够怎么办？
soderayer的博客
02-28 1318
最近新配置并重装了一台电脑，内存只有48G,虚拟内存系统默认配置的，如下图，可以看到大概有5.3G,在计算过程中，发现可用的内存自动提高了，由原来的63.3G变成了116G,先电脑系统磁盘分配了850G,空间够大，如果可用空间不够，估计就不会自动分配了，原来就是可用空间不太多，会中断预测过程。首先，如果内存只差一点点的情况下，我们可以尽量关闭其他正在运行的不相关应用程序，尽可能多的释放内存，同时也可以减少其他应用程序的干扰，实际应用过程中，有时候真的就会干扰到深度学习的计算过程导致中断。
Tensor FLow图像处理
theVicTory的博客
09-08 684
在对图像进行深度学习时，有时可能图片的数量不足，或者希望网络进行更多的学习，这时可以对现有的图片数据进行处理使其变成一张新的图片，在此基础上进行学习，从而提高网络识别的准确率。 1、图像解码显示 利用matplot库可以方便简洁地在jupyter内对图片进行绘制与输出，首先通过tf.gfile打开图片文件，并利用函数tf.image.decode_jpeg将jpeg图片解码为三位矩阵，之后便可...
损失还很高但是模型不收敛了怎么办？
andylei777的博客
06-08 1万+
陷入局部最优? sgd:调大学习率 换用adam等优化方法 递进学习->1000->10000->80000 调小batch：（A.全部数据作为一个batch和 B.每个采样作为一个batch）一般用的时候，在非监督训练阶段，可以先用B方法创建初始模型， 然后在监督训练阶段，选择小batch size进行初步训练，让模型跳出局部极值，之后用大的batch size让模型收敛，这样一般能达到比较好的
Tensorflow 中网络准确度不变，权重初始化NaN问题
sinat_16823063的博客
12-16 1万+
最近刚刚接触深度学习，由于项目涉及到一些移动端开发的问题，也听了一些朋友的建议，最后决定选择tensorflow作为研究深度学习的平台。这两天照着tflearn官网的VGGNet的demo，用tensorflow实现了VGGNet，然而在用17flowers训练集进行训练的时候，发现不管迭代多少次，准确率和loss函数始终维持在相对不变的值，也就是网络不收敛。一开始很懵逼，毕竟是照着官网的demo
如何调整一个不收敛的神经网络
咖啡味儿的咖啡
07-28 8913
没错的，又是传送门 大概分为以下几点： 1、You Forgot to Normalize Your Data 2、You Forgot to Check your Results 3、You Forgot to Preprocess Your Data 4、You Forgot to use any Regularization 5、You Used a too Large Batc...
tensorflow2 预训练模型
最新发布
10-04
其次，预训练模型能够提供更好的初始权重，从而使得模型更容易收敛。此外，在数据量较少的情况下，使用预训练模型可以避免过拟合问题。 使用 TensorFlow 2 中的预训练模型也非常方便。它们可以通过 TensorFlow Hub...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值