finetune的时候如何修改solver.prototxt和train_val.prototxt

最新推荐文章于 2021-08-02 23:26:01 发布
最新推荐文章于 2021-08-02 23:26:01 发布
阅读量242 收藏
点赞数
分类专栏： 深度学习 caffe 文章标签： caffe finetune solver 修改 网络文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kele_imon/article/details/89844494
版权

1.注意

题目中所指出的solver.prototxt和train_val.prototxt只是单纯的文件名字，大家可根据自己喜恶自行修改，

2.solver修改对比

主要的调整有：test_iter从1000改为了100，因为数据量减少了，base_lr从0.01变成了0.001，这个很重要，微调时的基本学习速率不能太大，学习策略没有改变，步长从原来的100000变成了20000，最大的迭代次数也从450000变成了50000，动量和权重衰减项都没有修改，依然是GPU模型，网络模型文件和快照的路径根据自己修改

3.修改网络参数

也就是train_val.prototxt


(1)首先修改名字

这样预训练模型赋值的时候这里就会因为名字不匹配从而重新训练，也就达成了我们适应新任务的目的。


(2)调整学习速率

因为最后一层是重新学习，因此需要有更快的学习速率相比较其他层，因此我们将，weight和bias的学习速率加快10倍。
原来是fc8，记得把跟fc8连接的名字都要修改掉，修改后如下

路人K_
关注
专栏目录
YOLOv6代码解读[05] yolov6/core/engine.py文件解读
我是天才很好
02-26 329
YOLOv6代码解读[05] yolov6/core/engine.py文件解读
Caffe deploy.prototxt train_val.prototxt solver.prototxt
09-03
http://blog.csdn.net/xiaonannanxn/article/details/52425818 Caffe中deploy.prototxt train_val.prototxt solver.prototxt标准文件
Caffe之solver.prototxt文件参数设置
cs24k1993的博客
12-21 378
caffe solver参数意义与设置batchsize:每迭代一次，网络训练图片的数量，例如：如果你的batchsize=256，则你的网络每迭代一次，训练256张图片；则，如果你的总图片张数为1280000张，则要想将你所有的图片通过网络训练一次，则需要1280000/256=5000次迭代。epoch：表示将所有图片在你的网络中训练一次所需要的迭代次数，如上面的例子：5000次；我们称之为
caffe中deploy.prototxt, train_val.prototxt和solver.prototxt分析笔记
qq_35571432的博客
02-06 977
caffe中deploy.prototxt, train_val.prototxt和solver.prototxt分析笔记 综述 caffe在最近的人工智能大潮中有着非常的地位。作为一个caffe的初学者，此文是我在学习中的一个笔记，如有不当之处也请大佬们指出错误。 当然网络文件也可以通过代码生成，这里不介绍 一些名词解释 epoch和iteration： 一个iter就是运用batc
DL开源框架Caffe | 模型微调 （finetune）的场景、问题、技巧以及解决方案
weixin_30270561的博客
07-28 87
转自：http://blog.csdn.net/u010402786/article/details/70141261 前言 什么是模型的微调？ 　　　　使用别人训练好的网络模型进行训练，前提是必须和别人用同一个网络，因为参数是根据网络而来的。当然最后一层是可以修改的，因为我们的数据可能并没有1000类，而只有几类。把最后一层的输出类别和层的名称改一下就可以了。用别...
caffe finetune两种修改网络结构prototxt方法
coderecord的博客
11-27 858
第一种方法：将原来的prototxt中所有的fc8改为fc8-re。（若希望修改层的学习速度比其他层更快一点，可以将lr_mult改为原来的10倍或者其他倍数） 第二种方法：只修改name，如下例子所示： layer { name: "fc8-re" #原来为"fc8" type: "InnerProduct" bottom: "fc7" t...
Caffe: Faster RCNN训练模型(Windows)
灰羽的博客
07-13 2442
用自己数据训练faster rcnn，windows版
Caffe-10-微调finetune-概念+操作步骤
大数据与计算机视觉
08-02 1343
微调的概念 win下caffe微调教程1 为什么finetune 什么是finetune finetune 与 scrachtch的区别 scrachtch fine-tuning finetune怎么操作 准备数据集 计算数据集的mean文件 调整网络层参数 输入层的source 和 meanfile 最后一层输出层的类别数 最后一层改名 其他不是必须的 lr crop_size 修改Solver
利用caffe-ssd对钢材表面缺陷数据集(NEUDataset)进行finetune训练和测试
jsk_learner的博客
07-11 6499
本篇博客主要讲解如何使用在VOC0712数据集下训练好的ssd.caffemodel来对自己的数据集进行finetune训练，涉及到NEUDataset、一些python脚本代码、网络结构的修改、网络训练和测试流程以及批量生成测试图片的python代码。 同时，本篇博客不会再涉及到路径和名称修改问题，关于caffe-ssd的安装编译、网络训练和测试以及路径和名称修改等问题请参考我这篇博客： 目标检测SSD网络在Caffe下的实现
用已有模型进行微调 finetune
Angela_qin的博客
03-03 3371
一、 准备数据集可以下载我的练习数据：http://pan.baidu.com/s/1MotUe，放在data/re根目录下。这些数据共有500张图片，400张用于训练，100张用于测试。分为大巴车、恐龙、大象、鲜花和马五个类，每个类100张。在examples/根目录下新建文件夹 mydata1，在此文件夹内放入训练集、测试集等相关文件。1. 训练集1）创建训练集在examples/mydata...
caffe学习（三）solver.prototxt超参数详解
mqyw29995的博客
03-05 285
caffe学习（三）solver.prototxt超参数详解 实例： train_net: "train_shufflenet.prototxt" test_net: "test_shufflenet.prototxt" test_iter: 200 test_initialization:false test_interval: 800 base_lr: 0.001 display: 50 ma...
R-FCN+ResNet-50用自己的数据集训练模型(python版本)
热门推荐
小咸鱼_的博客
11-17 4万+
说明： 本文假设你已经做好数据集，格式和VOC2007一致，并且Linux系统已经配置好caffe所需环境（博客里教程很多），下面是训练的一些修改。 py-R-FCN源码下载地址： https://github.com/Orpine/py-R-FCN 也有Matlab版本： https://github.com/daijifeng001/R-FCN 本文用到的是pyth
solver.prototxt文件里面参数含义及其设置
Cche的博客
02-15 5881
solver 是caffe的核心之重，它是整个模型运行的参数配置文件。运行代码一般为： #caffe train --solver=*_solver.prototxt 在DL中，损失函数（loss function）是非凸的，没有解析解，我们需要通过优化的方法来求解。solver的作用就是交替调用前向（forward）算法和后向（backward）算法来更新参数，从而最小化损失（loss），实
tensorflow下的finetune(微调包括冻结某些层,添加或修改一些层,选择性读取权重)(恢复网络图时手动写下所有代码来创建图)
weixin_42388228的博客
09-23 3499
参考：https://zhuanlan.zhihu.com/p/53814653 问题描述：网上搜到的csdn tensorflow的finetune的文章都不太容易令人理解，看了好几篇都无法在tensorflow下实现finetune；后来在bing上搜到了引用这篇参考网站的github上tensorflow finetune实现，非常的简洁易懂。 该篇文章在tensorflow下实现finet...
python生成prototxt协议文件
qikaihuting的博客
03-15 788
#!/usr/bin/env python # -*- coding: utf-8 -*- import sys caffe_root = 'E:/ycsun/file/code/caffe/caffe-windows/Build/x64/Release/pycaffe/' sys.path.insert(0, caffe_root) import caffe from caffe import...
关于train_val.prototxt中参数详解
liuxin000619的专栏
08-30 3198
solver.prototxt里面的参数详解比较容易理解，都是外部控制的参数；对于训练文件里面的参数个人觉得写的比较详细的常用的参数可以参考如下链接： train_val.prototxt文件中数据层及参数详解： http://blog.csdn.net/liuweizj12/article/details/52152911 train_val.prototxt文件中视觉层及
caffe学习记录(四)：如何配置caffe忽略掉某些不参与训练的标签
wwww1244的博客
08-03 2566
考虑MTCNN的训练场景，要求负样本只参与分类训练，而part样本只参与回归训练，正样本则要同时参与分类和回归训练，我们在数据集将不需要参与训练的部分标注为-1，如下图所示： 但是，如果直接使用这样的数据集进行训练的话，这些label=-1的样本也会参与计算梯度，这样显然是不对的。 那么，如何配置caffe使其忽略掉这些label=-1的数据呢？换句话说，我们需要caffe在回传梯度时将这...
Caffe使用，进行分类，finetune训练
同学醒醒放学了
09-16 680
    一般来说我们自己需要做的方向，比如在一些特定的领域的识别分类中，我们很难拿到大量的数据。因为像在ImageNet上毕竟是一个千万级的图像数据库，通常我们可能只能拿到几千张或者几万张某一特定领域的图像，比如识别衣服啊、标志啊、生物种类等等。在这种情况下重新训练一个新的网络是比较复杂的，而且参数不好调整，数据量也不够，因此fine-tuning微调就是一个比较理想的选择。     所谓fin...
caffe训练或者finetune的时候出现乱码且路径全部正确
一个做图像文本的深度学习人
04-30 313
1.问题描述 如上图所示，就是莫名出现乱码而且根本通不过，然后下面还可能提示路径错误等，但是你检查了100次还是发现路径是对的，结果气死...... 2.解决办法 在这个.bat的训练文件保存的时候是以txt格式结尾的，保存的时候看最下面的编码格式，改为下图 即可运行成功。 ...
if args.fine_tune: model.fc = nn.Linear(model.fc.in_features, args.classes_level2) name = config.classify_type.replace('3', '2') model.load_state_dict( torch.load(config.save_path + '/{}_{}_{}.ckpt'.format(config.model_name, name, 5))) for param in model.parameters(): param.requires_grad = False model.fc = nn.Linear(model.fc.in_features, config.num_classes) torch.nn.init.xavier_normal_(model.fc.weight.data) nn.init.constant_(model.fc.bias.data, 0)
最新发布
07-17
这段代码中包含了模型的微调（fine-tuning）部分。根据代码中的条件`args.fine_tune`，如果为`True`，则执行以下操作： 1. 修改模型的全连接层（fc）： - `model.fc = nn.Linear(model.fc.in_features, args.classes_level2)`：将模型的全连接层修改为输出维度为`args.classes_level2`的线性层。这个操作可能是为了在微调时，将模型的输出层调整为新的分类任务。 2. 加载预训练模型权重： - `model.load_state_dict(...)`：从指定路径加载预训练模型的权重。`config.save_path`是保存模型权重的路径，`config.model_name`是模型的名称，`name`是根据`config.classify_type`生成的新名称，`5`是一个数字，可能表示预训练模型的版本号或其他标识符。这个操作可能是为了将预训练模型的权重加载到模型中，以便在微调过程中使用。 3. 冻结预训练模型的参数： - `for param in model.parameters(): param.requires_grad = False`：将模型中所有参数的梯度计算设置为不可求导，即冻结参数。这个操作可能是为了在微调过程中只更新新添加的全连接层的参数。 4. 修改模型的全连接层（fc）为新的分类任务： - `model.fc = nn.Linear(model.fc.in_features, config.num_classes)`：将模型的全连接层修改为输出维度为`config.num_classes`的线性层。这个操作可能是为了适应新的分类任务，将模型的输出层调整为正确的类别数。 5. 使用 Xavier 初始化方法和常数初始化方法对新的全连接层参数进行初始化： - `torch.nn.init.xavier_normal_(model.fc.weight.data)`：使用 Xavier 初始化方法对全连接层的权重进行初始化。 - `nn.init.constant_(model.fc.bias.data, 0)`：使用常数初始化方法将全连接层的偏置项初始化为零。 通过以上操作，可以实现对预训练模型的微调，将其适应新的分类任务。需要注意的是，这段代码中的具体逻辑和参数值可能根据实际情况有所变化，你可以根据实际的代码逻辑和配置参数来理解这段代码的具体作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值