DL
mollygogo
这个作者很懒,什么都没留下…
展开
-
综述--梯度下降优化算法
paper: An overview of gradient descent optimization algorithms梯度下降优化算法,一般作为黑箱优化来使用,对其优缺点缺乏充足的认识。首先,回顾一下一些常用的梯度下降算法。有3种梯度下降法的变种,区别在于使用多少数据来更新梯度,在更新的准确度和计算时间中达到一个平衡。Batch Gradient Descent对整个训练数据集计算参数梯度,...翻译 2018-05-08 22:06:58 · 697 阅读 · 0 评论 -
ResNet
Paper: Deep Residual Learning for Image Recognition---Q:Is learning better networks as easy as stacking more layers?A:vanishing/exploding gradients, which is largely addressed by normalization initial...翻译 2018-04-27 16:23:49 · 501 阅读 · 0 评论 -
使用上采样加卷积的方法代替反卷积
URL: https://distill.pub/2016/deconv-checkerboard/PAPER: Deconvolution and Checkerboard ArtifactsOverlap&Learning神经网络生成的图像,普遍存在checkerboard pattern of artifacts的现象(高频),尤其在色彩比较强烈的图像中。(棋盘状)。因为神经网络有一...翻译 2018-05-07 12:34:46 · 5687 阅读 · 0 评论