模型训练
文章平均质量分 58
小白不畏难
这个作者很懒,什么都没留下…
展开
-
深度学习模型压缩与加速概况
以下都是个人见解:参考:https://zhuanlan.zhihu.com/p/179945324目前的深度学习模型的训练都是在云端的服务器上面进行的,例如在GPU等功耗,资源消耗较大的设备。这是毋庸置疑的。不过对与深度学习的应用,也就是推理。目前有几种落地方式。一种是云端推理,模型推理过程在云端,将结果传输给端设备,应用场景可能有移动端编码视频传输到云端视频解码等。具体的落地设备方式有:NVIDIA的Tesla T4与寒武纪的MLU270等。这种方式都是针对的模型在云端服务器上推理的加速。h原创 2020-11-30 15:41:38 · 509 阅读 · 0 评论 -
pytorch中查看模型的参数量和计算量
做完剪枝后,需要看一个模型被压缩后的计算量和参数量,可以使用这两种方法。1.安装包sudo pip install torchsummarysudo pip install torchstat2.编写代码torchsummary库:统计中只有参数量import torchfrom torchsummary import summaryfrom vgg import vggmodel_path = './pruned.pth.tar'checkpoint = torch.lo原创 2020-09-28 21:58:52 · 10022 阅读 · 6 评论 -
PyTorch参数初始化和Finetune
前言这篇文章算是论坛PyTorch Forums关于参数初始化和finetune的总结,也是我在写代码中用的算是“最佳实践”吧。最后希望大家没事多逛逛论坛,有很多高质量的回答。参数初始化参数的初始化其实就是对参数赋值。而我们需要学习的参数其实都是Variable,它其实是对Tensor的封装,同时提供了data,grad等借口,这就意味着我们可以直接对这些参数进行操作赋值了。这就是Py...原创 2019-11-26 10:01:31 · 377 阅读 · 0 评论 -
Caffe中使用Python脚本在cifar10数据集上测试模型
除了使用caffe的shell命令外,还可以调用caffe的python接口来测试数据集。本文测试的模型是squeezenet,测试的数据集是cifar10,cifar10_test_lmdb中有10000张图片。大小是3X32X32。import numpy as npimport lmdbimport sysimport timeimport pdbsys.path...原创 2019-09-23 17:19:15 · 313 阅读 · 0 评论 -
caffe finetune微调
什么是fine-tuning: 在别人基于caffe训练好的模型(如caffenet,googlenet等)的基础上,利用别人训练好的模型的权重参数值,通过训练自己的图片集修改最后一层的(也就是softmax)的参数和输出类别,说白了就是网络层的前面层不变作为一个特征提取器,只改变最后一层作为一个分类器,最后的训练就相当于训练了一个适合自己需求的分类器。 fi...原创 2019-08-22 11:19:31 · 157 阅读 · 0 评论 -
caffe 图片均值处理,网络结构图绘制,保存训练日志
一、图片均值处理caffe使用的mean处理是为了图像像素值能更接近(0,0)原点。在caffe中自带了处理均值的文件。sudo /opt/caffe/build/tools/comput_image_mean /opt/caffe/examples/mnist/mnist_train_lmdb /opt/caffe/mean.binaryproto可以看到需要两个参数,一个是数据,一...原创 2019-08-16 21:55:30 · 140 阅读 · 0 评论 -
caffe训练网络,测试网络等命令
###训练网络#sudo sh ./build/tools/caffe train --solver=examples/mnist/train_lenet.sh-solver:必选参数。一个protocol buffer类型的文件,即模型的配置文件。如:# ./build/tools/caffe train -solver examples/mnist/lenet_solver.proto...原创 2019-08-12 15:32:26 · 134 阅读 · 0 评论 -
caffe的solver文件详解
首先,test_iter * test_batchsize = test setmax_iter * train_batchsize = train set * num_epoch,其中若solver中有iter_size,则train_batchsize = iter_size * model_batchsize。其中若model中的train层的batchsize过大,有可能会因为...原创 2019-08-11 17:14:11 · 243 阅读 · 0 评论 -
caffe模型配置文件——激活层,softmax,reshape层
1.激活函数层#在激活层中,对输入数据进行激活操作,是逐元素进行运算的,在运算过程中,没有改变数据的相对大小,即输入和输出的数据相对大小是相等的。###Sigmoidlayer { name: "test" bottom: "conv" top: "test" type: "Sigmoid"}#ReLU是目前使用最多的激活函数,主要因为其收敛更快,并且能保持同样效果...原创 2019-08-11 16:58:04 · 312 阅读 · 0 评论 -
caffe模型配置文件——数据层,卷积层,池化层,全连接层
1.数据层layer { name: "cifar" type: "Data" top: "data" #一般用bottom表示输入,top表示输出,多个top代表有多个输出 top: "label" include { phase: TRAIN #训练网络分为训练阶段和自测试阶段,如果没写include则表示该层即在测试中,又在训练中 } transfo...原创 2019-08-11 16:21:52 · 128 阅读 · 0 评论 -
caffe 训练模型心得
1.用caffemodel接着训练训练squeezenet,第一版训了7000次,学习率0.01,感觉没有收敛,就用了最后得模型再开始训,第二次训练时发现学习率为初始化的值不是结束时得值,再训练过程中开始导致训练的acc降低,震荡较大。可能与学习率较大有关。学习率太大难收敛,太小收敛慢或者梯度消失无法学习。batchsize太小易震荡,因为改变参数快,太大显卡遭不住,取数据慢!!2.合...原创 2019-08-23 21:41:14 · 195 阅读 · 0 评论 -
docker上caffe利用lenet_5模型跑MNIST数据
参考博文:https://blog.csdn.net/elaine_bao/article/details/53117676caffe的整个流程就是从顶向下:caffe可执行文件调用solver文件,然后sovler文件调用模型文件,在模型文件中调用数据文件。1.进入Xshell6中连接服务器,进入服务器上安装好了的docker,查看docker镜像。2.启动相应的环境容器,这也是do...原创 2019-07-31 15:27:19 · 221 阅读 · 0 评论