Caffe调参经验

最新推荐文章于 2019-12-27 15:04:16 发布
最新推荐文章于 2019-12-27 15:04:16 发布
阅读量1.7k 收藏 10
点赞数 2
分类专栏： 深度学习 文章标签： caffe 调参经验
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z0n1l2/article/details/80403845
版权
本文介绍了在Caffe中训练模型的步骤，包括数据清洗、模型选择、训练初始化和调参。强调了数据清洗的重要性，如训练集与测试集同分布、样本均衡性。在模型选择中，建议根据问题复杂度匹配模型复杂度。训练初始化时，启用在线数据增强，并给出了初始学习率和权重衰减的建议。调参部分提到了学习速率调整策略以及过拟合的处理方法，如增加dropout层和调整weight_decay。
摘要由CSDN通过智能技术生成

假设现在你要在一批数据集上训练出一个caffe模型， 你要怎么做？训练中遇到的问题，要如何解决？仔细看下去吧！

第一步： 数据清洗

训练集和测试集是否同分布？

用cross validation去做验证。 如果CV训练结果OK， 但trainset上训练的模型，在testset上很差，则基本判定trainset和testset分布不一致， 数据需要继续清洗。

样本分布均衡吗？

深度学习对不均衡很敏感，这点不如以前的机器学习方法。处理不均衡的方法有一下几种
* 对样本数少的类别做上菜样。 比如直接复制，或者做一些旋转，形变，光照变换，翻转等，高级点的方法还有把样本变换到某个空间里去，空间内两个样本点连线的中点映射回来新样本。
* 对样本数比较多的类别做下采样。这个没什么好解释的的了，直接抽点即可。 高级点的可以考虑下保持原本的样本分布。
* 把样本数目较多的类别拆分成N个子集合，每个子集合和其他类别构成一个均衡的训练集，单独训练出一个分类器，最后多个分类器构成ensemble 分类器。
* 对样本数目较多的类别做聚类，用聚类中心参与训练
* 设计分类器支持不均衡的样本训练，比如xgboost，这个比较高端了

第二步：模型选择

这里主要考虑模型的复杂度和问题复杂读的匹配。

简单模型 复杂模型
简单问题 适合
最低0.47元/天 解锁文章
z0n1l2
关注
专栏目录
Caffe: 使用经验总结
DeepIndeed
12-28 442
引言 在深度学习框架caffe的使用过程中，加深了对神经网络的理解，同时也将神经网络知识从理论落到实处。希望日后多多拿代码时间，将该总结继续增广~~ 深度学习中常用的调节参数 学习率 步长的选择：你走的距离长短，越短当然不会错过，但是耗时间。步长的选择比较麻烦。步长越小，越容易得到局部最优化（到了比较大的山谷，就出不去了），而大了会全局最优。一般来说，如ResNet前32k步，很大，0.1...
卷积神经网络调参经验
扯着扯着就淡淡了
08-24 2820
实习遇到的问题吧 二值化网络加入XNor操作后，精度下降严重，更改第一层最后一层不使用Xnor，问题仍未解决，一时无从下手。犹犹豫豫看到一篇paper How to Train a Compact Binary Neural Network with High Accuracy To consolidate our analysis, we have the statistics on
caffe调参技巧
Iriving_shu的博客
01-04 438
由于最近几天论文开题和比赛，所以只阅读了下面几篇知乎笔记。 这一篇主要将深度学习调参技巧 https://zhuanlan.zhihu.com/p/20767428 这两篇主要将不同的激活函数带来的影响 https://zhuanlan.zhihu.com/p/22142013 https://www.zhihu.com/question/48931796
总结caffe调参技巧
starDu
11-10 1001
参考：https://github.com/hwdong/deep-learning/blob/master/deep%20learning%20papers.md  转载请留言，经过本人同意后可以转载。欢迎留言讨论。 一：总的来说： 0.data：http://machinelearningmastery.com/improve-deep-learning-performanc
caffe训练调参
山中有石为玉
02-15 391
参考：https://blog.csdn.net/qq_16234613/article/details/79596609 https://zhuanlan.zhihu.com/p/34234084 https://blog.csdn.net/yuanlunxi/article/details/79378301
caffe调参经验资料文章
j201111100523的博客
03-28 239
调参是个头疼的事情，Yann LeCun、Yoshua Bengio和Geoffrey Hinton这些大牛为什么能够跳出各种牛逼的网络？下面一些推荐的书和文章：调参资料总结Neural Network: Trick of the TradePractical Recommendations for Gradient-based Training of Deep Architectures《神经网...
深度学习调参指南中文版
最新发布
11-04
【深度学习调参指南中文版】是一份针对深度学习调优的专业资料，旨在帮助学习者理解和掌握深度学习的核心技术和调参技巧。深度学习是机器学习的一个分支，它模仿人脑的工作原理，通过多层非线性变换对复杂数据进行...
caffe-windows.rar
07-18
7. **优化与调参**：Caffe 允许调整各种超参数，如学习率、批处理大小和权重衰减，以优化模型性能。此外，可以使用 `Solver.prototxt` 文件配置训练过程，包括迭代次数、学习策略等。 8. **模型可视化**：Caffe 与...
caffe 调参经验：1
u010935076的博客
07-19 301
1.对于cnn网络 ， 根据图像项目的需要可以调整卷积核的大小来提高或降低feature感受野，不过如果提高了卷积核大小，那么计算量会呈指数增长;
Caffe中网络调参基本套路
u011231598的博客
09-01 1869
刚接触caffe一个多月，感觉迷迷糊糊，最近才稍微明白了点caffe中调参的一些套路，直接上干货吧。 1，一般训练集不大时，最终训练的网络及容易过拟合，也就是说train-loss一定会收敛，但是test-loss不会收敛； 2，训练集不大时，尽量选取简单的网络开始训练，我用8000张图片作为训练集时，网络被简化到只有一个con，一个pooling，一个全连接; 3，根据train-loss
Caffe-AdamW-AdamWR:caffe中AdamW和AdamWR算法的实现
04-30
caffe中AdamW和AdamWR算法的实现 此仓库实现程序caffe代码是参考Fixing Weight Decay Regularization in Adam 的Fixing Weight Decay Regularization in Adam论文。 caffe.proto id从712到... 1.在caffe.proto的消息SolverParameter中添加所需的参数。 修改caffe.proto如下： // If true, adamw solver will restart per cosine decay scheduler optional bool with_restart = 712 [default = false]; // cosine decay, refers to paper of AdamWR optional
caffe调参心得
qq_24748883的专栏
05-24 724
接触caffe也有半年多了，从搭建平台到训练样本，得出了以下一些经验 1.梯度下降缓慢时试试降低学习率，训练loss下降不明显时可以考虑降低学习率。 2.convolution的输出尽量少些，降低model的大小。 3.在MATLAB上调用CAFFE应该奖所有库包含进去 4.样本数量尽量多，最好上万，不然容易出现过拟合 5.  一般类型是17层已经足够，可以考虑使用BN层提高精确度
caffe的solver调参数技巧
帅气的可乐
07-14 578
模型参数大于数据量，相当于求解一个欠定方程，存在多解得可能性大，容易产生过拟合问题。 模型参数小于数据量，相当于求解一个超定方程，可能无解，也可能有解但准确率低，容易产生欠拟合问题。 我们可以把大模型在大的数据集下测验（imagenet），之后在对特定数据集进行精调（fine-turning），即可得到理想效果。
caffe学习--参数调整
Cristal_yin的博客
11-18 1397
调整各参数 激活函数 lr 修改cifar10中的lr-policy 调整lr大小 dropout dropout类型 缺点 在cifar实例中加入dropout batch normalization cifar10中的BatchNorm data augmentation 常见方法 调整各参数这里用cifar10数据集为例激活函数Sigmoid、ReLU、TanH、Absolute Value、
caffe 调参理解
u010935076的博客
06-27 306
1.降低过拟合最简单的方法就是进行数据增强，数据增强可通过普通的图像转换和水平翻转。
caffe如何设置clip_gradients&Adam
u010039305的博客
08-12 1846
solver.txt 示例： 对于SGD，是不需要 "momentum2" "delta" "type" 参数的。 net : "xxx.prototxt" # The base learning rate, momentum and the weight decay of the network. base_lr: 0.00 momentum: 0.9 momentum2:0.999 de...
caffe六种优化方法
DataH
07-19 1781
caffe六种优化方法 1 简介 所谓的优化方法是指对于训练网络的loss进行优化。caffe中在Solver配置，在神经网络中，用forward pass来求解loss，用backward pass来求解梯度。六种优化方法分别为。 Stochastic Gradient Descent (type: “SGD”), AdaDelta (type: “AdaDelta”) Adapti...
caffe总结（六）solver优化方法
weixin_42535423的博客
12-27 414
到目前为止，caffe总共提供了六种优化方法： Stochastic Gradient Descent (type: “SGD”), AdaDelta (type: “AdaDelta”), Adaptive Gradient (type: “AdaGrad”), Adam (type: “Adam”), Nesterov’s Accelerated Gradient (type: “N...
caffe中的优化方法
qyczyr的专栏
06-01 1984
参考网址： http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentvariants http://caffe.berkeleyvision.org/tutorial/solver.html 在caffe中实现了六种优化方法，如下： Stochastic Gradient Descent (
Caffe深度学习框架官方教程中文版
2. **AdaDelta**：自适应学习率算法，减少手动调参的需要。 3. **AdaGrad**：另一种自适应学习率算法，考虑历史梯度信息。 4. **Adam**：结合了RMSprop和Momentum的优化算法，通常表现优秀。 5. **NAG（动量梯度下降...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值