deep learning
H.SH
这个作者很懒,什么都没留下…
展开
-
深度学习经典网络:ResNet及其变体(ResNet v1)
经典ResNet网络结构ResNetv1:https://arxiv.org/abs/1512.033851 ResNet要解决的问题 深度神经网络朝着网络层数越来越深的方向发展。直觉上我们不难得出结论:增加网络深度后,网络可以进行更加复杂的特征提取,因此更深的模型可以取得更好的结果。但事实并非如此,人们发现随着网络深度的增加,模型精度并不总是提升,并且这个问题显然不是由过拟合(overf...原创 2019-07-23 17:11:30 · 1389 阅读 · 0 评论 -
深度学习经典网络:ShuffleNet系列网络(ShuffleNet v2)
ShuffleNet v2:https://link.springer.com/chapter/10.1007/978-3-030-01264-9_8pytorch代码:https://github.com/Randl/ShuffleNetV2-pytorch/blob/master/model.pykeras代码:https://github.com/opconty/keras-shuffl...原创 2019-08-10 11:39:31 · 2149 阅读 · 0 评论 -
CNN中参数量和FLOPs计算
对于一个卷积层,假设其大小为h×w×cin×couth×w×c_{in}×c_{out}h×w×cin×cout(其中cinc_{in}cin为input channel, coutc_{out}cout为output channel),输出的feature map尺寸为 H′×W′H^{'}×W^{'}H′×W′,则该卷积层的paras=h×w×ci...原创 2019-08-07 17:02:01 · 787 阅读 · 0 评论 -
深度学习经典网络: SENet
SENet:https://arxiv.org/pdf/1709.01507.pdfpytorch 代码:https://github.com/pytorch/vision/blob/master/torchvision/models/squeezenet.py转载:http://www.sohu.com/a/161633191_4659750. 前言我们从最基本的卷积操作开始说起。近些年...转载 2019-08-01 19:05:45 · 602 阅读 · 0 评论 -
深度学习经典网络:Inception系列网络(Inception v1 & Inception v2(BN))
Inception v1(GoogleNet): https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43022.pdfInception v2: https://arxiv.org/pdf/1502.03167.pdf一、Inception v1Motivation: 2014年...原创 2019-07-28 12:28:08 · 1072 阅读 · 0 评论 -
深度学习经典网络: Inception系列网络(Inception v4 和Inception-ResNet)
Inception v4 & Inception-ResNet:https://arxiv.org/abs/1602.07261前言 主要受ResNet 网络的启发,他们基于inception v3的基础上,引入了残差结构,提出了inception-resnet-v1和inception-resnet-v2,并修改inception模块提出了inception v4结构。基于ince...原创 2019-07-31 16:43:22 · 1158 阅读 · 0 评论 -
深度学习经典网络: MobileNet系列网络(MobileNet v2)
MobileNet v2:https://arxiv.org/abs/1801.04381概述MobileNetV2 以 MobileNetV1 的理念为基础,使用深度可分离卷积作为高效构建块。此外,V2 在架构中引入了两项新功能:Depth-wise convolution之前多了一个1*1的“扩张”层,目的是为了提升通道数,获得更多特征;在pointwise convolution不...原创 2019-08-03 22:42:41 · 721 阅读 · 0 评论 -
深度学习经典网络: Inception 系列网络(Inception v3)
Inception v2、v3:https://arxiv.org/abs/1512.00567前言: Google家的Inception系列模型提出的初衷主要为了解决CNN分类模型的两个问题,其一是如何使得网络深度增加的同时能使得模型的分类性能随着增加,而非像简单的VGG网络那样达到一定深度后就陷入了性能饱和的困境(Resnet针对的也是此一问题);其二则是如何在保证分类网络分类准确率提升...原创 2019-07-30 22:10:06 · 1096 阅读 · 0 评论 -
深度学习经典网络:ResNet及其变体(ResNeXt)
ResNeXt:https://arxiv.org/pdf/1611.05431.pdfReferences1、Group Convolution分组卷积,以及Depthwise Convolution和Global Depthwise Convolution2、ResNeXt算法详解https://zhuanlan.zhihu.com/p/51075096https://zhuanla...原创 2019-07-25 17:09:59 · 1196 阅读 · 0 评论 -
深度学习经典网络: MobileNet系列网络(MobileNet v1)
MobileNet v1:https://arxiv.org/abs/1704.04861References1、轻量级神经网络MobileNet,从V1到V3 2、《Computer vision》笔记-MobileNet(7)原创 2019-08-02 21:06:20 · 905 阅读 · 0 评论 -
深度学习经典网络:ResNet及其变体(ResNet v2)
ResNet v2:Identity Mappings in Deep Residual Networks1 简介 ResNet v1和ResNet v2的区别主要在于残差单元设计的差异,作者在对ResNet v1残差单元的分析及反向传播的推导中,当使用恒等映射(identity mappings)作为跳跃连接(skip connections)及信号pre-activation时,前向、反...原创 2019-07-25 11:34:42 · 681 阅读 · 0 评论 -
Batch Normalization 详解及其各种变体
一、Batch Normalization的前向与反向传播前向传播:图 1 Batch Normalization 前向传播反向传播:根据前向传播过程,可以获得如下计算图,均值和方差都省略了下标B。假定损失函数为LLL,已知LLL相对于yiy_{i}yi 的偏导 ∂L∂yi\frac{\partial L}{\partial y_{i}}∂yi∂L, 求∂L∂γ\frac{\pa...原创 2019-07-29 21:42:35 · 510 阅读 · 1 评论 -
深度学习经典网络:ShuffleNet 系列网络(ShuffleNet v1)
ShuffleNet v1:http://openaccess.thecvf.com/content_cvpr_2018/html/Zhang_ShuffleNet_An_Extremely_CVPR_2018_paper.htmltensorflow代码:https://github.com/MG2033/ShuffleNetpytorch代码:https://github.com/jaxo...原创 2019-08-12 19:37:30 · 1007 阅读 · 0 评论