CNN调参笔记

最新推荐文章于 2024-07-07 20:18:25 发布
最新推荐文章于 2024-07-07 20:18:25 发布
阅读量822 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vcvycy/article/details/78639929
版权
本文探讨了CNN在训练过程中的参数初始化，特别是卷积层权重和偏置的影响。通过实验发现，过大的偏置会导致网络收敛困难，而适中的初始化如 Bias=0.1, weight stddev=0.1 可以加速收敛。此外，学习率设置过高也会导致无法收敛。最后，作者通过案例分析了BN层顺序对网络收敛性的影响，特别是在图像反色情况下的表现。" 82915374,5629485,CocosCreator微信小游戏物理引擎与地图场景实战,"['Cocos2d-x', '游戏开发', '移动开发', '2D游戏', '物理引擎']
摘要由CSDN通过智能技术生成

一、卷积层weight和bias初始化(Mnist)

weight的mean为0，标准差待定，bias为常数，待定。

 （1）Bias初始化太大（比如0.5，weight std=0.01），则网络loss初始非常大，即使加了BN层使得Loss减小，亦难以收敛。

         我猜测是Bias太大，其在与Feature Map的博弈中，占了绝对上方，特别是多层网络，原始图的特征逐层递减直至消失。

 （2）Bias和weigh较小(比如Bias=0.0,  weight stddev=0.01)，网络可以收敛，但收敛较慢

 （3）Mnist图片反色（即foreground像素值在0这一端，background在255这一端）后收敛速度下降较大（目测2~3倍）。

 （4）Bias=0.1 ,weight stddev=0.1 网络收敛较快。但

看了xavier和he_normal两篇论文，主要是保证feedforward/backpropagation的梯度在传递过程中，每一层分布不变(均值+方差)。

感觉无脑用就好了。(不过测试时，7、8层的网络使用xavier/he_normal效果并不比N(0,0.01))效果更好)


二、Learning Rate

  设置太大无法收敛，比如1e-2。

  ResNet中以0.1为初值训练不知怎么回事。

三、BN层顺序：一个不收敛的例子

当我们采用x->bn
最低0.47元/天 解锁文章
vcvycy
关注
（干货）经验之谈：DeepLearning---（CNN）调参策略（二）
Cche的博客
03-01 2482
（干货）经验之谈：DeepLearning---卷积神经网络（CNN）（一）主要讲解了CNN模型的构造，那么本篇博客就主要讲解如何进行对应算法的训练策略。二、学习算法及训练策略下面，我们给出深度卷积神经网络的一些训练技巧，从数据的预处理、网络模型的参数初始化、训练过程中的学习速率及激活函数特性分析、正则化约束等角度总结一些实用的训练技巧。1、数据预处理数据预处理包括输入数据的预处理及隐层输出的归一...
cnn 调参经验
u014114990的专栏
01-18 7619
这个问题，其实我也是初学，水平有限，说说自己的感觉吧。在潜意识里，我始终觉得神经网络的东西和中医看病有种隐隐的联系，经验（自己的和别人的）、感觉这些谈不上有什么标准化的东西确是挺重要的东西。基于此，调试一个神经网络，就需要首先熟悉网络的每个层、每个参数的作用是什么，为什么要有这样的设置，通常researcher们都基于什么样的原则来设置？其次，多自己动手设置一下，找找感觉，看看不同的参数设置会产生
Neural Networks 中的 Weights 和 Biases
最新发布
aliencyl的博客
07-07 205
我们知道，神经网络中，每个 neuron 是具有连接性的，但我们也知道，为了能使我们的算法达到预期目的，每个 neuron 的连接强度是不同的。我们通过训练模型，会得出某些 neuron 的连接性会比较强，而有一些会比较弱，那么强度的控制就是通过我们的 weights 来控制。在不断的迭代算饭中，我们也会不断 fine-tuning 我们的 weights，使我们的模型不会 overfitting。以上就是 Weights 和 bias 的基本概念。
CNN调参技巧
fengshengwei3的专栏
11-25 5377
目录 一 更多优化算法 回顾 1.AdaGrad算法 2.RMSProp 3.Adam 4.自定义优化算法 二.激活函数 1.Sigmoid 2.Tanh 3.ReLu 4.Leaky-ReLU 5.ELU 6.maxout 三.网络初始化 四 批归一化 五 数据增强 六 其他调参技巧 一 更多优化算法 回顾 随机梯度下降 局部极值 鞍点问题 动量梯度下...
CNN怎么调参数？
u012154840的博客
11-04 3393
- 收集高质量标注数据。 - 输入输出数据做好归一化，以防出现数值问题。方法就是主成分分析啥的。 - 参数初始化很重要。太小了，参数根本走不动。一般权重参数0.01均方差，0均值的高斯分布是万能的，不行就试更大的。偏差参数全0即可。 - 用SGD ，minibatch size 128。或者更小size ，但那样吞吐量变小，计算效率变低。 - 用带momentum的SGD，二阶方法不用
CNN调参资料总结
X-SPY的博客
09-23 725
初次尝试自己训练CNN，走了好多坑，把看过的资料链接整理一下 Must Know Tips/Tricks in Deep Neural Networks Practical Recommendations for Gradient-based Training of Deep Architectures Efficient Training Strategies for Deep Neural
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
卷积神经网络（CNN）学习笔记
Vinicier的专栏
11-10 1394
卷积神经网络（CNN）Keywords：常用网络：LeNet5 、AlexNet VGGNet、 GoogleNet、 ResNet、DenseNetfilter sizestripepadding参数共享机制fine tuning输入层、卷积层、激励层、池化层、全连接层、Softmax 输出层一般CNN结构依次为：一个CNN 层级结构示意图：卷积层：一组固定的权重和不同窗口内数据做内积，就是卷积。
CNN学习笔记之LeNet-5模型各层参数理解
Fireman1994的博客
11-28 3824
LeNet-5 模型是Yann LeCun 教授于1998年在论文《Gradient-based learning applied to document recognition》中提出的，它是第一个成功应用于数字识别问题的卷积神经网络。在 MNIST 数据集上，LeNet-5 模型可以达到大约99.2%的正确率。LeNet-5 模型共有7层，如下图所示： 第1层  卷积
【论文笔记】CNN图像分类：从LeNet5到EfficientNet
zoroooooo的博客
10-09 1190
计算机视觉的三大任务 自从神经网络和深度学习方法引入到图像领域，经过近些年来的发展，从一开始的图像分类逐渐延伸到目标检测和图像分割领域，深度学习也逐渐在计算机视觉领域占据绝对的主导地位。如果要想利用深度学习技术开启计算机视觉领域的研究，明确并深刻理解计算机视觉的三大任务非常关键。计算机视觉三大任务如图1所示。 从图中我们可以简单描述计算机视觉三大任务的要义。图像分类就是要回答这张图像是一只猫的问题，跟传统的机器学习任务并无区别，只是我们的输入由数值数据变成图片数据。本节的内容就是介绍CNN在图像分类的发展历
MTCNN调优(过程中)
疯狂的鸡窝
09-19 1670
以12Net为例,参考其他mtcnn的用例,思考如何训练: 多增加负样本以提高对错误的排除能力 mutly如何使用 hard_example为何如此慢如何优化. 提高对错误分类的排除能力: 如 这样一张照片:我使用训练出来的模型,即使采用0.8的prob阈值,得到的候选框也有664个 如果使用别人训练好的12-net的取0.4的阈值大概得到 724个候选框 左右两个男的都没框进来,...
MTCNN（四）人头检测数据集参数调整
祥瑞的技术博客
10-10 7276
调参情况 目录 一、原始结构上的参数调整 1.  ROI与黑白框 2.  minsize face to detect scale stride 二、新网络结构的参数调整 2.1 minsize的调整 2.2 scale stride 三、新结构 3.1 关于nms的阈值。   一、原始结构上的参数调整 1.  ROI与黑白框 ROI   ...
pytorch nn.Module调用过程详解及weight和bias的值的初始化
weixin_42713739的博客
09-18 9530
首先说明一点： nn.Module 是所有神经网络单元（neural network modules）的基类 pytorch在nn.Module中，实现了__call__方法，而在__call__方法中调用了forward函数。 举例说明： x = torch.randn(2, 3) #input 2*3 m = torch.nn.Linear(3, 2)#output 2*2 output = m(x) print(output) 输出结果： tensor([[ 0.1918, -0.1055],
PyTorch模型参数初始化（weights_init）——torch.nn.init、加载预权重
Chaoy6565的博客
12-17 4865
网络模型预权重设置加载初始化。
pytorch 修改卷积核的权重weights、偏置bias
qq_29007291的博客
03-15 1万+
生成卷积核以后如何去自定义修改卷积核的权重呢？ kernel_data = torch.rand(1,1,3,3) print(kernel_data ) conv = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=(3,3),stride=1, padding=1, padding_mode='zeros', bias=False) print(conv.weight.data) conv.weight = nn.Parameter(kernel
深度学习笔记4：卷积层的实现
l691899397的博客
08-18 4万+
卷积层的推导 卷积层的前向计算 如下图，卷积层的输入来源于输入层或者pooling层。每一层的多个卷积核大小相同，在这个网络中，我使用的卷积核均为5*5。 如图输入为28*28的图像，经过5*5的卷积之后，得到一个(28-5+1)*(28-5+1) = 24*24、的map。卷积层2的每个map是不同卷积核在前一层每个map上进行卷积，并将每个对应位置上的值相加然后再加上一个偏置
Tensorflow学习笔记9-卷积神经网络CNN
weixin_40852935的博客
12-03 1168
这里写目录标题什么是卷积神经网络 CNN卷积convolution池化poolingFlatten流程流行的 CNN 结构 什么是卷积神经网络 CNN 我们先把卷积神经网络这个词拆开来看. “卷积” 和 “神经网络”. 卷积也就是说神经网络不再是对每个像素的输入信息做处理了,而是图片上每一小块像素区域进行处理, 这种做法加强了图片信息的连续性. 使得神经网络能看到图形, 而非一个点. 这种做法同时也加深了神经网络对图片的理解. 具体来说, 卷积神经网络有一个批量过滤器, 持续不断的在图片上滚动收集图片里的信
Tensorflow实现一个完整的卷积神经网络
Microstrong
05-18 3万+
（一）卷积神经网络结构+最终的识别精度。用Tensorflow实现一个完整的卷积神经网络，用这个卷积神经网络来识别手写数字数据集（MNIST）。我们先来看看实现的卷积神经网络结构如下图所示：接着，我们再来看看实现的这个卷积神经网络，在MNIST数据集中的测试集上的精度。我用了两种优化训练方法，对模型训练了1000次，在训练1000的过程中，每隔50次进行一次模型的精度测试。（1）批量梯度下降法（B...
CNN 调参 adam怎么用
05-27
下面是使用Adam进行调参的步骤： 1. 导入Adam优化器 在代码中导入Adam优化器，一般通过以下代码实现： ```python from keras.optimizers import Adam optimizer = Adam(lr=0.001) ``` 2. 调整学习率 调整Adam...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值