PyTorch
z-bingo
分享自己的所见所闻,所感所悟。
展开
-
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解,相互关系及PyTorch实现
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解,相互关系及PyTorch实现1. 分组卷积(Group Convolution)分组卷积最早出现在AlexNet中,如下图所示。在CNN发展初期,GPU资源不足以满足训练任务的要求,因此,Hinton采用了多GPU训练的策略,每个GPU完成一部分卷积,最后把多...原创 2019-03-30 17:20:50 · 20558 阅读 · 15 评论 -
【Pytorch梯度爆炸】梯度、loss在反向传播过程中变为nan解决方法
0. 遇到大坑笔者在最近的项目中用到了自定义loss函数,代码一切都准备就绪后,在训练时遇到了梯度爆炸的问题,每次训练几个step后,梯度/loss都会变为nan。一般情况下,梯度变为nan都是出现了log(0), x/0等情况,导致结果变为+inf,也就成了nan。1. 问题分析笔者需要的loss函数如下:L=1N∑i=0N−1(xi−Γ(xi))2\mathscr{L}=\frac{1...原创 2019-04-02 12:21:20 · 8542 阅读 · 2 评论 -
【论文复现】FastDVDNet: Towards Real-Time Video Denoising Without Explicit Motion Estimation
1. IntroductionFastDVDNet是一种视频去噪中的STOA方法,与其他STOA方法有着相近或者更好的性能,但是有着更低的时间复杂度。计算机视觉中,对于视频去噪的研究相对较少,大多方法还是基于传统的算法,如VBM4D等non-local的方法,还有一些方法是图像去噪方法的简单扩展。由于视频有着较强的时间相关性,那么一个好的视频去噪算法必将要充分利用这一特点。利用时间相关性主要体...原创 2019-07-10 19:59:50 · 6351 阅读 · 4 评论