神经网络自学经验整理

最新推荐文章于 2022-12-08 14:23:18 发布
最新推荐文章于 2022-12-08 14:23:18 发布
阅读量882 收藏
点赞数
分类专栏： 神经网络 文章标签： 神经网络-机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xylophone234/article/details/45831107
版权
博主在自学神经网络过程中遇到迅速收敛到局部极小值、不收敛和过拟合的问题，分享了对应的解决方法，包括权值初始化、输入数据放缩、梯度检查、早停策略以及权重惩罚等技巧。
摘要由CSDN通过智能技术生成

神经网络自学经验整理

业余时间自学神经网络，一年多来时断时续，遇到了各种各样的坑，各种不收敛，现整理一些经验，不对之处欢迎指出

问题1：迅速收敛到一个误差很大的局部极小值

迭代一两步后，误差不再变小，隐藏层梯度几乎为0，但输出层梯度接近0或不接近0.
解决方法：

  • 检查隐藏层和输出层的输出值，如果输出值都是0（tanh激活），或都是0.5（sigmoid激活），说明权值初始化不好，冲量项系数太小。初始权值一定要是以0为中心的随机分布，绝对值要小，但不能是0
  • 检查输入数据，输入数据一定要放缩到一个合理的范围，建议0-1或-1-1区间。理论上神经网络的输入是 Rn
最低0.47元/天 解锁文章
N维空间1
关注
专栏目录
神经网络预测
瘦果的专栏
11-24 2373
clc ; clear ; INPUT = xlsread('input.xls'); input = INPUT; output = xlsread('output.xls'); k = rand(1,2000); %1x2000的矩阵 [m,n] = sort(k); % n是下标矩阵 ， 用来随机选取数据 %训练数据 input_train = input(n(
构建神经网络的一些实战经验和建议
AI公园
11-12 464
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：MattH and Daniel R编译：ronghuaiyang在我们的机器学习实验室，我们在许多高性...
如何自学深度神经网络-个人经验
MarTin Guo的博客
02-22 1万+
研究生入学已经半年了，这半年里除了上课就是在自学深度学习相关的东西，乘着寒假在家闲着写点东西。刚入学的时候因为我们要对一些不同风格的字体进行分类，一开始我用的是Gabor来提取特征，然后用SVM进行分类，虽然实验结果还可以，但是人机交互太多有点不方便，而且运行速度也不够快。因为我平常关注一些机器学习的公众号，看里面经常提起什么卷积神经网络这些概念，一开始也不是很懂，然后我就在网上查了很多资料，决定...
神经网络入门
weixin_44021149的博客
03-22 538
神经网络15分钟入门！足够通俗易懂了吧网络上已经有很多神经网络入门的视频和文章，不过很多都艰深且冗长，即使是所谓的小白教程也看得让人脑仁疼。本篇文章试图使用最简洁易懂的文字对一个典型神经网络做一个较为完整的介绍。力求读者在读完本篇文章后对神经网络能有一个清晰且全面的认识。任务描述如下图，我们已知四个数据点(1,1)(-1,1)(-1,-1)(1,-1)，这四个点分别对应I~IV象限，如果这时候给我们一个新的坐标点（比如(2,2)），那么它应该属于哪个象限呢？（没错，当然是第I象限，但我们的任务是要让机器知道
卷积神经网络入门，卷积神经网络有哪些？新手入门卷积必看，真保姆级教程！
最新发布
weixin_58797039的博客
12-08 845
由于深度神经网络通常都是多层卷积的堆叠，通过上一层得到了直线或者曲线后，下一层不再组合像素，而是将线组合成形状，一层一层进行下去，直到形成完整的图片。关卷积神经网络CNN方面的使用，前景，就业还有很多很多，此处就不多做介绍了，为了方便大家，我也整理了很多计算机视觉，机器学习，深度学习方面的学习资料，包含：论文，视频，文章，行业报告，书籍，项目代码等。然而，当使用稍微小一点的学习率时，训练过程会更慢，但不会发散。但是，包括卷积神经网络在内，深度学习训练的一大难题就是，如何选择正确的学习率。
通俗讲解深度学习和神经网络！
Datawhale
12-02 6484
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：知乎King James，伦敦国王大学知乎 ｜https://www.zh...
一文搞定bp神经网络,bp神经网络的实现
wenangou的博客
10-07 483
简介：BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer) 摘 要：
bp神经网络预测模型优点,什么是BP神经网络模型?
xilao138的博客
10-13 1009
6)计算W[S1][S0]，b[S1]；9))输出W1[S1][S0]，b1[S1]。三、总体算法1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)(1)输入参数P对模式(xp，dp)，p=1，2，…
神经网络基础知识点自学整理
代码对我善良点
11-29 585
在代码中遇到不会的随时更新（还包含深度学习常用python语法等）
神经网络训练经验
ziliwangmoe的博客
01-01 564
网路介绍： 层数太深，变得难训练，特别是全连接层不要超过3层 训练容易卡在输出值的均值附近（平坦期） 减少batch size可以有效跨越训练的平坦期 最差的GPU运算一半也有最好的cpu运算的10倍效率 用小batch度过平坦期后，也需要加大batchsize。因为当小batch下降到一定程度之后，就一直会震荡了。 ...
神经网络 neural network
天泽28的专栏
04-17 1万+
神经网络之BP算法，梯度检验，参数随机初始化 neural network(BackPropagation algorithm,gradient checking,random initialization) 一、代价函数(cost function) 对于训练集，代价函数（cost function）定义为： 其中红色方框圈起的部分为正则项，k：输出单
神经网络的参数为什么需要它的值很小，且变化范围小
u013887652的博客
05-28 1460
Tips：只不过是本人的感觉，未经过试验验证，同样也没有任何依据。 值小的话在计算上基本不会出现上溢出 由于目前在深度学习中数据都是用多维表示，比如词向量的维度就有128、256维或者更高，如果模型处理这种多维度，且变化范围小的数据可以认为是风险平摊，可以保证模型的稳定性。eg：NLP中的计算句子相似度的任务，如果两个句子用向量表示，使用余弦相似性计算时，变化范围小可以保证最后计算的结果基本保持不变。 ...
一小时神经网络从入门到精通(放弃)
weixin_33714884的博客
06-18 7063
前言 本文主要是学习BP神经网络的一个总结，其本身也是机器学习中比较基础、适合入门的模型。 目前本人对于机器学习也还只是入门状态，对于很多名词仍然是一知半解(感觉机器学习中的很多术语本身也是模棱两可的)，对于很多公式也是不求甚解，因此这篇文章是尝试用自己的语言和理解来复述所学习到的知识，如果有错误之处还望大牛们不吝斧正。 霍金说过每多一个数学公式，就会少...
神经网络训练loss不下降原因集合
热门推荐
Lavi的专栏
06-29 6万+
train loss与test loss结果分析 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批...
通过拟合数据得到的深度神经网络模型对输入很小的数值扰动和很小的变换（甚至平移）都是不稳定的，更谈不上鲁棒。
诗筱涵的博客
07-17 589
通过拟合数据得到的深度神经网络模型（在classification，detection，segmentation等）对输入很小的数值扰动和很小的变换deformation（甚至平移）都是不稳定的（unstable)，更谈不上鲁棒。 这和我感受到的智能车用PID而不是用深度学习一样的感受。 我觉得RNN不适合弄异常检测也是有道理的。 ...
30分钟自学卷积神经网络
funcky_CX的博客
03-23 802
本文介绍的卷积神经网络（convolutional neural network，CNN）是一类强大的、为处理图像数据而设计的神经网络。 基于卷积神经网络架构的模型在计算机视觉领域中已经占主导地位，当今几乎所有的图像识别、目标检测或语义分割相关的学术竞赛和商业应用都以这种方法为基础。 现代卷积神经网络的设计得益于生物学、群论和一系列的补充实验。 卷积神经网络需要的参数少于全连接架构的网络，而且卷积也很容易用GPU并行计算。 因此卷积神经网络除了能够高效地采样从而获得精确的模型，还能够高效地计算。 久而久之，
网络经济与企业管理：自学考试重点整理
"自学考试 00910 网络经济与企业管理简答、论述整理" 在自学考试中，00910网络经济与企业管理课程涵盖了多个关键知识点，涉及企业管理的基本理论、公司制企业的特点、组织职能、领导活动、以及网络时代下企业环境的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值