卷积神经网络
文章平均质量分 89
近年各卷积神经网络详解
今生有幸.~
学习不迷茫
展开
-
Xception详解
Xception 详解论文《Xception: Deep Learning with Depthwise Separable Convolutions》1 主要思想传统的卷积操作同时对输入的feature mapping的跨通道交互性(cross-channel correlations)、**空间交互性(spatial correlations)**进行了映射。Inception系列结构着力于将上述过程进行分解,在一定程度上实现了跨通道相关性和空间相关性的解耦。文章在Inception的基础原创 2021-05-19 20:33:57 · 11849 阅读 · 2 评论 -
ResNeXt详解
ResNeXt详解论文《Aggregated Residual Transformations for Deep Neural Networks》1 主要思想随着CNN网络的发展,很多SOTA的网络结构被提出,同时引入了一些新的结构设计方法。VGG网络作为一个经典模型,它提出了叠加相同形状的块(stacking block)来增加模型深度的策略,后续提出的深层CNN模型也基本使用了这一策略。Inception系列网络提出了split-transform-merge的策略,通过多分支卷积实现在低原创 2021-05-18 17:12:01 · 1442 阅读 · 1 评论 -
ShuffleNet详解
ShuffleNet详解论文《ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices》1 主要思想轻量级CNN网络近年备受关注,与传统的高准确度但较为复杂的CNN,轻量级网络受限实际任务中计算资源的限制,重点关注模型复杂度和准确度的权衡。已存在一些SOTA的轻量级模型,如Xception、ResNeXt等,但在这些网络中的pointwise convolutions(1*1 conv)计算原创 2021-05-17 15:33:00 · 870 阅读 · 0 评论 -
MLP-Mixer详解
MLP-Mixer详解论文《MLP-Mixer: An all-MLP Architecture for Vision》1 主要思想作为Google ViT团队最近刚提出的一种的CV框架,MLP-Mixer使用多层感知机(MLP)来代替传统CNN中的卷积操作(Conv)和Transformer中的自注意力机制(Self-Attention)。MLP-Mixer整体设计简单,在ImageNet上的表现接近于近年最新的几个SOTA模型。2 模型结构MLP-Mixer主要包括三部分:Per-pat原创 2021-05-11 14:41:36 · 13573 阅读 · 4 评论 -
WRN详解
WRN《Wide Residual Network》1 提出问题 随着卷积神经网络模型的发展,网络的深度问题也一直被关注。到底是选择浅层网络好还是深层网络好?这个问题也一直没有被解答。 ResNet中提出的bottleneck块(如下图)进一步增加了网络的深度。bottleneck块中加入了1*1的conv,主要用于embedding和减少参数。但bottleneck进一步使得网络变得更深更窄(deeper,thiner)。ResNet最大深度已经达到了1001层。 ResNet深度的原创 2021-03-24 16:25:21 · 4376 阅读 · 0 评论 -
ResNet详解
ResNet论文《Deep Residual Learning for Image Recognition》1 现状 随着卷积神经网络(CNN,Convolutional Neural Network)的不断发展,出现了很多新的模型,例如AlexNet、ZFNet、NIN、VGG、Inception v1/v2/v3等,其中各类模型共通点就是CNN的深度在不断增加。 但随着深度增加,CNN出现了网络退化问题(degradation):随着网络深度增加,模型的准确度趋于饱和,并开始下降。原创 2021-03-22 22:36:59 · 836 阅读 · 0 评论 -
ZFNet详解
ZFNet论文《Visualizing and Understanding Convolutional Neural Networks》1 论文思想文章主要用于实现卷积神经网络(CNN,Convelutional Neural Network)的可视化工作,主要是针对于CNN每层得到的特征映射(feature mapping)的可视化。博客中提到的feature mapping指的是一般化的特征映射,即经过卷积激活池化后得到的特征映射,这一点与论文中的表述有所冲突,请注意分辨。文中指出,C原创 2021-03-22 12:37:42 · 991 阅读 · 0 评论 -
GoogLeNet Inception v3& LSN详解
GoogLeNet Inception v3 & Label Smoothing论文《Rethinking the Inception Architecture for Computer Vision》1 设计背景文中针对如何构建Inception风格的卷积神经网络提出了一些设计准则,并根据这些准则,设计实现了基于Inception v3模块的GoogLeNet模型。2 通用设计准则避免模型出现特征瓶颈;Avoid representational bottlenecks, e原创 2021-03-11 18:30:40 · 285 阅读 · 0 评论 -
GoogLeNet Inception v1详解
GoogLeNet Inception v1论文《Going Deeper with Convolutions》1. 研究背景提高神经网络的性能,最直接的方法就是增加神经网络的大小,大小包括了网络的深度和宽度。但是一味地增加网络大小,会带来一些不利的影响:神经网络的大小增加,会带来大量的参数,模型更容易出现过拟合问题;神经网络的大小增加,会使模型在训练过程中的计算开销增加。解决上述问题方法,在模型中引入稀疏性(sparsity),用一个稀疏的网络结构去代替现有的全连接网络结构,以减少网原创 2021-03-10 15:09:49 · 325 阅读 · 0 评论 -
NIN详解
NIN论文《Network In Network》1. 设计思路卷积神经网络(CNN,Convolutional Neural Network)中,包含多个卷积层和池化层。在传统的CNN模型中,卷积层通过filter进行卷积操作,再使用非线性激活函数进行处理,从而产生特征映射(feature mapping)。其中,高层卷积层提取到的feature mapping是在底层卷积层提取到的feature mapping的基础上进行再提取得到的,所以如果提高每个卷积层的特征提取能力,那么对于整体的特征原创 2021-03-03 16:52:39 · 1152 阅读 · 1 评论 -
AlexNet详解
AlexNet论文《ImageNet Classification with Deep Convolutional Neural Networks》1. 数据集ImageNet包括1500万张高分辨率标记图片,标签类别大约有22000类。ImageNet通过top-1 error和top-5 error 来评判模型好坏。其中top-1 表示测试图像的真实标签与模型预测标签不同,top-5表示测试图像的真实标签不在模型预测可能性最大的前5个预测标签中。学习类似于ImageNet的大型数据集,要求原创 2021-03-02 19:54:36 · 437 阅读 · 0 评论 -
VGG详解
VGG论文《Very Deep Convolutional Networks for Large-Scale Image Recognition》1. 设计思路VGG通过增加卷积神经网络的深度来提高模型在图像分类的性能。具体来讲,VGG通过在模型中增加更多的卷积层来增加模型的深度,需要注意的是VGG卷积层中所使用的都是较小的filter(3*3)。通过多层较小filter的卷积层去替代一层较大filter的卷积层,可以在保证感受野(receptive field)不变的前提下,减少参数数量,引原创 2021-03-03 10:43:12 · 4685 阅读 · 0 评论