pytorch
elysion122
这个作者很懒,什么都没留下…
展开
-
初学者Pytorch 和 Caffe 使用对比
初学者比较关心的问题就是好不好上手,以及是否容易扩展。我把这两个平台作为论文实现的工具,代码能力有限,所以在一个初学者角度说一下在自己的感想。安装难易度:caffe>pytorchcaffe部署我是遇到不少麻烦的,特别是实验室很多人共用一个路径,环境比较乱,编译caffe基本上不可能不遇到问题,大部分问题baidu一下都可以解决。caffe最近又有了caffe2,要求是CUDA8.0 cud...原创 2018-02-13 17:14:12 · 13304 阅读 · 3 评论 -
pytorch给同一个layer的weight和bias设置不同的学习速率
经过在pytorch论坛的提问https://discuss.pytorch.org/t/how-to-set-different-learning-rate-for-weight-and-bias-in-one-layer/13450,现在总结如下: 1.使用dict简单粗暴设置,适用于层数较少的模型import torchimport torch.nn as nnimport t...原创 2018-03-19 16:53:36 · 6453 阅读 · 0 评论 -
Caffe BN+Scale层和Pytorch BN层的对比
因为最近在将一个caffe的model移植到pytorch上,发现移植过去就没法收敛了,因此专门研究了一些细节。 batch normalization的公式如下: x−E[x]Var[x]√+ϵ∗λ+β\frac{x-E[x]}{\sqrt{Var[x]}+\epsilon}*\lambda+\beta caffe和pytorch在代码细节上略有不同,但是基本功能是一样的。Caffe 是使用原创 2018-03-20 17:11:58 · 4740 阅读 · 2 评论 -
小白编程用Pytorch导入预训练模型&&设置不同学习速率
前两天正好在做这个部分,参考了很多网友的做法,也去pytorch论坛查了一下,现在总结如下。建议还是自己单步调试一下看看每个参数里面的值是什么样的比较好。1.导入预训练的模型,预训练模型是现有模型的一个或者几个部分假设我有一个网络包含 pretrained和classify两个部分,每个部分分别有一些卷积层or回归层,pretrained部分有一个已经训练好的网络模型pretrained mode...原创 2018-05-12 15:37:20 · 2948 阅读 · 0 评论