python,pytorch,深度学习
文章平均质量分 69
whut_ldz
这个作者很懒,什么都没留下…
展开
-
pytorch中的pre-train函数模型引用及修改(增减网络层,修改某层参数等)
一、pytorch中的pre-train模型卷积神经网络的训练是耗时的,很多场合不可能每次都从随机初始化参数开始训练网络。pytorch中自带几种常用的深度学习网络预训练模型,如VGG、ResNet等。往往为了加快学习的进度,在训练的初期我们直接加载pre-train模型中预先训练好的参数,model的加载如下所示:import torchvision.models as mo原创 2017-12-19 18:49:37 · 74130 阅读 · 27 评论 -
(继)pytorch中的pretrain模型网络结构修改
继上篇文章提出的两种预训练模型的修改方法外,今天在这里推荐我新学习到的一种方法:这里还是以resnet模型为参考,在去掉预训练resnet模型的后两层(fc层和pooling层)后,新添加一个反卷积层、池化层和分类层。那么对于网络的修改怎样可以快速的去除model本身的网络层呢?一个继承nn.module的model它包含一个叫做children()的函数,这个函数可以用来提取出mod原创 2017-12-22 16:52:44 · 17857 阅读 · 6 评论 -
机器学习:如何找到最优学习率
原文见点击打开链接学习率的重要性目前深度学习使用的都是非常简单的一阶收敛算法,梯度下降法,不管有多少自适应的优化算法,本质上都是对梯度下降法的各种变形,所以初始学习率对深层网络的收敛起着决定性的作用,下面就是梯度下降法的公式[Math Processing Error]w:=w−α∂∂wloss(w)这里[Math Processing Error]α就是学习率转载 2017-12-23 23:22:12 · 21427 阅读 · 1 评论