![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
目标分类
文章平均质量分 95
贾小树
这个作者很懒,什么都没留下…
展开
-
论文阅读:Identity Mappings in Deep Residual Networks(ResNetV2)
文章目录1、论文总述2、f也是恒等映射后的变化3、跳连 Identity 的重要 性4、激活函数不同位置的影响5、pre-activation的两点优势6、训练尺度用法参考文献1、论文总述本篇论文针对ResNet的中残差和恒等映射进行了进一步的分析,提出了一个改进版本ResNetV2,不过本人认为大多数情况下用原来的ResNet50或者ResNet101就已经够用,ResNetV2主要是针对CNN特别特别深时的改进,如大于100层,到1000层时,这时候再换ResNetV2即可。本文的工作主要是有两原创 2021-03-23 21:41:16 · 334 阅读 · 0 评论 -
论文阅读:Network In Network
文章目录1、论文总述2、不加激活函数的CNN如何补偿非线性3、全局平均池化代替全连接层的优势4、dropout很重要5、Global Average Pooling比全连接好么6、feature map可视化参考文献1、论文总述笔者最近毕业论文写完处于一段空闲期,就想看几本书和以前落下的一些论文。本论文是2014年的一篇工作,好多年前了。。主要的创新是把多层感知机MLP加进了CNN中,用来提升CNN的非线性表达能力,作者认为没有激活函数的CNN是一个线性模型,特征表达能力不强,所以就想在每个featu原创 2021-03-18 22:27:43 · 182 阅读 · 0 评论 -
论文阅读:ResNeSt: Split-Attention Networks
文章目录1、论文总述2、1乘1卷积相当于一种注意力机制3、ResNeSt网络结构4、SKNet网络结构5、ResNeSt的两种等价实现6、ResNeSt对resnet网络结构上的改动7、ResNeSt训练时候使用的tricks8、Ablation study9、ResNeSt与其他模型的效果对比10、附录中的彩蛋参考文献1、论文总述本篇论文在投稿阶段就在知乎上引发了广泛讨论,争议很多,这个争议我觉得不仅仅是ResNeSt特有的,而是现在的好多学术论文都有的问题,争议点就在于:文中提出的模型在数据集上提高原创 2020-10-08 15:59:53 · 1301 阅读 · 0 评论 -
论文阅读:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
文章目录1、论文总述2、compound scaling method方法的合理性3、给定计算资源后确定α, β, γ(即compound scaling method的流程)4、EfficientNet-B0的来源和主要组成部分5、EfficientNets指标6、EfficientNets激活可视化参考文献1、论文总述本篇论文的出发点是将分类模型的大小和效率放在一起考虑,希望增大模型的同时,效率也能比较高(推理速度比较快的意思),作者在论文中指出,以前的传统增大模型的方法主要是在单个维度上进行(例如原创 2020-10-05 23:26:01 · 476 阅读 · 0 评论 -
论文阅读:MobileNetV2: Inverted Residuals and Linear Bottlenecks
文章目录1、论文总述2、普通卷积与深度可分离卷积的计算量对比3、移除部分非线性4、 The difference between residual block and inverted residual5、消融实验6、SSDlite1、论文总述这篇论文提出了一种适合移动端部署的分类网络:MobileNetV2,是在MobileNetV1的基础上改进得来,整体上还是采用MobileNetV1中的深度可分离卷积来降低网络的参数量和推理速度,从论文标题中就可以看出本篇论文的两个主要的改进点:Inverted原创 2020-07-04 17:38:32 · 387 阅读 · 0 评论 -
论文阅读:Aggregated Residual Transformations for Deep Neural Networks(ResNeXt)
文章目录1、论文总述2、vgg/resnet 与 Inception系列网络设计机制的不同点3、ResNeXt并不是ensembling4、两个设计准则5、split-transform-merge的本质6、BN和Relu的位置1、论文总述这篇论文提出的网络是resnet的升级版,设计思想结合了vgg/resnet 的stacking building blocks 以及 Inception系列的 split - transform - merge,ResNeXt中的next是指作者在这篇论文中提出了另原创 2020-06-27 20:09:53 · 464 阅读 · 0 评论 -
论文阅读:FPN
一、对网络的简单理解1、网络结构图(简记为:向上 、向右 、向下)2、得到的新的feature map P2 P3 P4 P5 ,既有高分辨率的信息,又有高级特征的语义信息,所以FPN在检测小目标方面效果很好且时间和计算量上没有特别多的额外花销,而且输入只是一个scale的图片,不像图像金字塔那样输入多个scale,耗时太长。3、其中P2 P3 P4 P5 P6的输出通道数相同,论文中...原创 2019-08-14 23:14:49 · 224 阅读 · 0 评论 -
论文阅读:ResNet
一、对网络的理解1、网络加深之后,性能不升反降,作者在论文中对比了两种网络一种是plain net 一种即是本文提出的和plain net配置层数(34层) 参数一样的ResNet,作者猜想plain net 训练错误率更高的原因可能是因为这种深网络具有指数级低的收敛速度,且作者排除了是前向和后向传播时梯度消失或爆炸的原因,因为网络中加入了BN层;所以深网络难以训练,学起来很困难,现有的训练方法...原创 2019-08-16 11:54:37 · 482 阅读 · 0 评论