![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CNN
莫一丞元
根特大学PhD在读
展开
-
卷积和反卷积
其最后得到一个34*1的张量。原创 2020-09-08 22:03:51 · 188 阅读 · 0 评论 -
CNN理解
背景卷积神经网络(Convolutional Neural Networks CNNs/ConvNets)与普通神经网络非常相似,它们都由具有可学习的权重和偏置常量(biases)的神经元组成。输出是每个分类的分数,目标函数是交叉熵损失函数,参数以及偏置采用SGD进行反向训练。 分两个部分,部分一介绍基础知识,部分二介绍CNN历史。部分一:基础知识1. 卷积神经网络的层级结构:l 数据输入层- Input layer;l 卷积计算层- conv layer,主要包含:卷积计算层- conv原创 2020-09-06 19:09:56 · 364 阅读 · 0 评论 -
CBAM
CBAM是2018年的分类冠军,它和SE一样也是一个模型,现在任何流行网络都可以嵌入这个模块,那么它的由来是什么呢?SE的由来是因为不同通道的像素的重要性可能不一样,那么既然这样,同一个通道的不同位置像素重要性也可能不一样,所以就有了CBAM,既考虑不同通道像素的重要性,又考虑了同一通道不同位置像素的重要性Convolutional Block Attention Module(CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间(spatial)和通道(channel)的注意力机制模块。相比于s原创 2020-09-06 19:10:59 · 574 阅读 · 0 评论 -
SENET
SENET是2017年的世界冠军,SE全称Squeeze-and-Excitation是一个模块,将现有的网络嵌入SE模块的话,那么该网络就是SENet,它几乎可以嵌入当前流行的任何网络,那么为什么会引出这个东西呢,来看下图:一个feature map经过一系列卷积池化得到的feature map,通常我们认为这个得到的feature map的每个通道都是同样重要的。但实际情况是:我们得到的feature map的每个通道的重要性都不一样,比如一张包含动物的图片,那么背景肯定不怎么重要,它转化为灰度图后原创 2020-09-06 19:11:40 · 699 阅读 · 0 评论 -
ShuffleNet理解
ShuffleNet是Face++的一篇关于降低深度网络计算量的论文。论文的Insight是现有的先进basic架构如Xception和ResNeXt在小型网络模型中效率较低,因为大量的1×11×1卷积耗费很多计算资源,论文提出了逐点群卷积(pointwise group convolution)帮助降低计算复杂度;但是使用逐点群卷积会有负作用,故在此基础上,论文提出通道混洗(channel shuffle)帮助信息流通。基于这两种技术,我们构建一个名为ShuffleNet的高效架构,相比于其他先进模型,原创 2020-09-07 22:16:31 · 218 阅读 · 0 评论 -
Mobilenet 系列理解
背景目前的研究总结来看分为两个方向:一是对训练好的复杂模型进行压缩得到小模型;二是直接设计小模型并进行训练。不管如何,其目标在保持模型性能(accuracy)的前提下降低模型大小(parameters size),同时提升模型速度(speed, low latency)。Mobilenet v1是Google 2017年提出的一种小巧而高效的CNN模型,其在accuracy和latency之间做了折中。创新点在于:其在卷积方面做文章。深度级可分离卷积MobileNet的基本单元是深度级可分离卷积(de原创 2020-09-06 19:12:26 · 844 阅读 · 0 评论 -
Resnet理解
背景ResNet的作者是何凯明依靠Resnet获得CVPR2016最佳论文奖。ResNet是解决了深度CNN模型难训练的问题,从下图中可以看到14年的VGG才19层,而15年的ResNet多达152层,这在网络深度完全不是一个量级上,所以如果是第一眼看这个图的话,肯定会觉得ResNet是靠深度取胜。事实当然是这样,但是ResNet还有架构上的trick,这才使得网络的深度发挥出作用,这个trick就是残差学习(Residual learning)。网络退化问题我们知道随着网络层数的加深,可以提取到更原创 2020-09-05 10:56:50 · 1011 阅读 · 0 评论 -
VGGNet理解
背景相较于AlxNet,使用更小卷积核(层数加深,参数减少)。来源:VGG模型是2014年ILSVRC竞赛的第二名,第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于googLeNet。而且,从图像中提取CNN特征,VGG模型是首选算法。它的缺点在于,参数量有140M之多,需要更大的存储空间。先来看看VGG这篇论文《Very Deep Convolutional Networks forLarge-Scale Image Recognition》论文中几个模型主要以几下几种原创 2020-09-05 10:50:42 · 705 阅读 · 0 评论 -
Alxnet理解
来源AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计,下面是对2012年论文中的网络进行理解记录。网络结构(这里两个结构相同,是在两个GPU上进行训练):详细解释:对上图补充:AlexNet使用了mini-batch SGD,batch的大小为128,梯度下降的算法选择了momentum,参数为0.9,加入了L2正则化,或者说权重衰减,参数为0.0005。论文中提到,这么小的权重衰减参数几乎可以说没有正则化效果,但对模型的学习原创 2020-09-05 10:39:02 · 1019 阅读 · 0 评论 -
LeNet-5
LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition,是一种用于手写体字符识别的非常高效的卷积神经网络。除去输出层,LeNet-5 一共包含 7 层网络,每一层都包含可训练的参数。如下图所示,输入是一个 32x32 的图片,Cx 表示卷积层,Sx表示下采样(subsampling)层,以及全连接层表示为 Fx,x 表示的是神经网络层的索引。LeNet-5 的架构细节1.输入层输入层输入数据提前通过填充的方式,形成32*3原创 2020-09-05 10:37:42 · 373 阅读 · 0 评论 -
Char-CNN理解
背景Char-CNN算法来源于发表在NIPS2015的论文:Character-levelConvolutional Networks for Text Classification(基于CNN的字符级文本分类)中。深度学习处理自然语言处理问题,有的基于短语,有的基于单词。该篇文章受启发于CV领域的像素级别,因此采用从字符角度出发重新训练神经网络。神经网络就不需要提前知道关于单词的知识(lookupTable or word2vec),并且这些单词的知识往往是高维的,很难应用于卷积神经网络中。除此之外原创 2020-09-05 10:36:51 · 1583 阅读 · 0 评论 -
Network In Network
NIN(network in network):该篇论文最大创新点有两个,一个是全局平均池化(Global Average Pooling,GAP),另一个是mlpconv层的提出。1 全局平均池化根本在于将最后卷积层的输出特征图,对于每一个特征图求全局平均,输出神经元个数对应特征图的通道数。(1) 有效减少参数数量(相比较全连接层)。(2) 减轻过拟合。(3) 更符合CNN特点,使feature map和类别信息产生直接映射,分类过程可理解性更强。(4) 求和取平均操作综合了空间原创 2020-09-05 10:35:02 · 139 阅读 · 0 评论 -
Inception系列理解
背景该篇主要介绍Inception系列,主要包含Inception V1、Inception V2、Inception V3、Inception V4、Inception-Resnet。Google家的Inception系列模型提出的初衷主要为了解决CNN分类模型的两个问题,其一是如何使得网络深度增加的同时能使得模型的分类性能随着增加,而非像简单的VGG网络那样达到一定深度后就陷入了性能饱和的困境(Resnet针对的也是此一问题);其二则是如何在保证分类网络分类准确率提升或保持不降的同时使得模型的计算开原创 2020-09-05 10:32:49 · 42484 阅读 · 3 评论 -
GoogLeNet理解
Googlenet和vgg是2014年imagenet竞赛的双雄,这两类模型结构有一个共同特点是go deeper。跟vgg不同的是,googlenet模型虽然 有22层,但大小却比alexnet和vgg都小很多,性能优越。文章提出获得高质量模型最保险的做法就是增加模型的深度(层数)或者是其宽度(层核或者神经元数),但是这里一般设计思路的情况下会出现两个缺陷(1.参数太多,容易过拟合,若训练数据集有限;2.网络越大计算复杂度越大,难以应用;3.网络越深,梯度越往后loss越容易消失,难以优化模型)。 go原创 2020-09-05 10:31:52 · 364 阅读 · 0 评论