深度学习
再戳天花板我可生气了
这个作者很懒,什么都没留下…
展开
-
torch.nn.init细节
torch.nn.init细节毕业论文进度0/50。大晚上挂着下骑砍2想顺便写论文的,内心太抗拒没办法,在这把以前看到的一些torch里的细节记录一下吧。Abstracttorch默认的卷积初始化针对的激活函是slope=5slope=\sqrt{5}slope=5的leaky-relu,而不是relu。常见init的种类平时能用到的卷积的初始化一般涉及到两个名字:xavier,kai...原创 2020-03-31 03:31:31 · 357 阅读 · 0 评论 -
pytorch单机多卡:从DataParallel到distributedDataParallel
pytorch单机多卡:从DataParallel到distributedDataParallel最近想做的实验比较多,于是稍微学习了一下和pytorch相关的加速方式。本人之前一直在使用DataParalle原创 2020-03-22 04:09:44 · 14801 阅读 · 12 评论