Classification
文章平均质量分 81
明天去哪
博观而约取,厚积而薄发.每天坚持写代码
展开
-
【轻量级】轻量级网络结构总结
Depthwise-Wise convolutions是最近两年比较火的一种模块结构。这个结构第一次出现是在一篇博士论文中,L. Sifre. Rigid-motion scattering for image classification. hD thesis, Ph. D. thesis, 2014. 功力可想而知… SqueezeNet SqueezeNet: AlexNet...原创 2018-05-02 10:12:50 · 15519 阅读 · 0 评论 -
Residual attention network for image classification
AbstractCVPR2017的文章,商汤、清华、港中文和北邮合作的文章。基本想法就是受现在的attention mechanism 和residual的激励,考虑把两者放在一起实现更好的效果。 本文的主要贡献是: 可堆叠的网络结构注意力残差学习Bottom-up top-down相结合,自底向上是特征提取,自顶向下是attentionFrameworkA...原创 2018-03-02 19:30:22 · 1660 阅读 · 0 评论 -
Deep networks with stochastic depth
AbstractECCV2016的文章,和DenseNet同样的作者,这篇文章早于DenseNet. 深的网络在现在表现出了十分强大的能力,但是也存在许多问题。主要是梯度消散、前向传播中信息的不断衰减、训练耗时长等问题。本文主要是提出随机深度,在训练时使用较浅的深度(随机在resnet的基础上bypass掉一些层),在测试时使用较深的深度,较少训练时间,提高训练性能,最终在四个数据集上都超过...原创 2018-02-07 19:36:41 · 2728 阅读 · 0 评论 -
Residual Networks Behave Like Ensembles of Relatively Shallow Networks
Abstract本文是NIPS2016的文章,作者来自Cornell大学. 本文主要是对residual networks进行解释。首先,使用解构的思想吧ResNet等价于一组不同长度的路径的集合;然后采用了lesion study的方式揭示了不同路径之间并没有强依赖,尽管它们是联合学习的;最后,通过实验验证了大多数路径是短的,主要是短路径在学习,长路径不贡献梯度.最终得出一个结论,ResN...原创 2018-02-06 21:01:44 · 448 阅读 · 0 评论 -
【inv2】Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
基本情况这是一篇cv.LG2015的文章,所属领域为computer vision. Abstract在训练由于前面层的参数的变化,会导致本层输入分布的变化,因此导致训练一个DNN十分复杂,我们不得不降低训练速度和小心的初始化.这种现象被成为internal covariate shift. 解决上述问题,通常采用的方法是normalize输入层.我们的方法力图使规范化成为模型...原创 2017-05-14 13:12:32 · 866 阅读 · 0 评论