Tips
门被核桃夹了还能补脑嘛
么的
展开
-
关于pytorch的BN,在训练的模型上增添新模块[只训练新模块]
关于Pytorch的BN 目前在做一些人脸方面的内容,场景是在一个训练完成的模型上加一些功能(要是模型也能支持装饰器就好了????)。 假定现在已经有了一个训练好的模型A\mathbf{A}A(包含了BN和Dropout层),现在在A\mathbf{A}A的基础上额外添加了一些层LLL,需要对这些新添加的层进行训练。 那么"常规"的做法就如下: model = build_new_model() # add requires_grad=False to those untrained parameters原创 2020-09-29 10:01:19 · 883 阅读 · 0 评论 -
一些在论文阅读过程中看到的小知识
首发于:jwxie.cn 一些在论文阅读过程中看到的小知识 Making Convolutional Networks Shift-Invariant Again ???? PDF Link ???? Github Code 问题 DNN的平移不变性实际上是MaxPooling带来的。实际上Maxplooing最大程度保留了高频特征,同时减少了网络特征的冗余(尤其是针对“有没有”和“是不是”的问题而言)。因此,这样会导致最终物体无论在图片的哪一个位置都可以被明确的保留下来。但是实验发现,Maxpooli原创 2020-08-21 09:50:59 · 187 阅读 · 0 评论