nin神经网络_NIN网络解析

最新推荐文章于 2024-04-04 11:05:39 发布
最新推荐文章于 2024-04-04 11:05:39 发布
阅读量453 收藏
点赞数
文章标签： nin神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39805924/article/details/111783612
版权
本文详细解析了Network in Network（NIN）的网络结构，包括1×1卷积的使用以增强非线性和减少参数数量，以及全球平均池化的应用以替代全连接层，防止过拟合。NIN通过mlpconv层实现了通道间的交互和信息整合，同时在Caffe中的实现展示了网络层配置。
摘要由CSDN通过智能技术生成

《Network in Network》论文笔记

1.综述

这篇文章有两个很重要的观点：

1×1卷积的使用

文中提出使用mlpconv网络层替代传统的convolution层。mlp层实际上是卷积加传统的mlp(多层感知器)，因为convolution是线性的，而mlp是非线性的，后者能够得到更高的抽象，泛化能力更强。在跨通道(cross

channel,cross feature

map)情况下，mlpconv等价于卷积层+1×1卷积层，所以此时mlpconv层也叫cccp层(cascaded cross channel

parametric pooling)。

CNN网络中不使用FC层(全连接层)

文中提出使用Global Average Pooling取代最后的全连接层，因为全连接层参数多且易过拟合。做法即移除全连接层，在最后一层(文中使用mlpconv)层，后面加一层Average Pooling层。

以上两点，之所以重要，在于，其在较大程度上减少了参数个数，确能够得到一个较好的结果。而参数规模的减少，不仅有利用网络层数的加深(由于参数过多，网络规模过大，GPU显存等不够用而限制网络层数的增加，从而限制模型的泛化能力)，而且在训练时间上也得到改进。

2.网络结构

传统的convolution层

单通道mlpconv层

跨通道mlpconv层(cccp层)

最低0.47元/天 解锁文章
weixin_39805924
关注
动手深度学习笔记（三十九）7.3. 网络中的网络（NiN）
juluwangriyue的博客
04-30 475
动手深度学习笔记（三十九）7.3. 网络中的网络（NiN）7.3. 网络中的网络（NiN）7.3.1. NiN块7.3.2. NiN模型7.3.3. 训练模型7.3.4. 小结7.3.5. 练习 7.3. 网络中的网络（NiN） LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。 AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。 或者，可以想象在这个过程的早期使用全连接层。然而，如果使用了全
NIN网络模型模块
04-21
NIN模型的模块化实现 result值用于loss计算和预测 仅供参考
NiN网络详解
鲤鱼与驴的博客
02-14 4543
本文详细介绍了经典计算机视觉分类网络模型Network In Network
NIN网络解析
weixin_33695450的博客
03-15 376
转载：（Paper）Network in Network网络分析 Deep Learning-TensorFlow (12) CNN卷积神经网络_ Network in Network 学习笔记 《Network in Network》论文笔记 1.综述 这篇文章有两个很重要的观点： 1×1卷积的使用 文中提出使用mlpconv网络层替代传统的convolution层。ml...
NIN(Network in Network)
大山的专栏
07-09 719
NIN(Network in Network)卷积神经网络中的卷积是一个广义线性模型（generalized linear model, GLM），抽象程度不高，GLM 只在样本是线性可分的时候有好的抽象。如果把 GLM 替换成更非线性的操作能够提升模型的抽象能力。 如果把用核做线性卷积操作替换成用 MLP 做非线性的卷积操作，必然会增加模型的抽象能力。网络中用了 MLP 做卷积的层这里称为 ML
LeNet深度解析：卷积神经网络进阶的5种模型
在《动手学习深度学习》的系列教程中，章节2专门深入探讨了卷积神经网络（CNN）的进阶知识，特别是针对LeNet、AlexNet、VGG、NiN和GooLeNet这五种经典的CNN模型。本节重点关注了LeNet模型，它是CNN早期应用的一个...
卷积神经网络基础与经典架构解析：LeNet与进阶模型
小结5主要涵盖了卷积神经网络的基础概念及其关键组成部分，包括LeNet和进阶版本的探讨。在卷积神经网络的基础部分，我们首先了解了卷积层和池化层的作用，这两个核心层是CNN（Convolutional Neural Network）的核心...
"NiN论文总结：网络内部网络结构的研究和实验分析
总体而言，NiN论文提出了一种新颖的网络结构，通过引入了MLP Convolution Layers和Global Average Pooling等方法，有效地提高了卷积神经网络的图像分类能力。通过在多个数据集进行实验，证明了NiN的性能优于传统的...
NIN网络《Network in Network》总结
zj15939317693的博客
07-28 884
一、文章意义         这篇文章提出的“1*1”卷积对后续的研究还是有启发作用的，但是Global Average Pooling 好像影响不大，这篇文章也是在MaxoutNet的基础上进行改进的，Maxout能拟合任意的凸函数，NIN试图拟合任意的函数。 二、网络结构          网络结构如下图所示：                    这篇文章里的网络结
NIN网络-Network In Network
fanzy1234的博客
01-09 5832
图像分类系列： 0、BP前反馈神经网络原理详解 1、Lenet详解 2、Alexnet详解 3、VGG网络结构 4、NIN网络结构 5、Googlenet inception v1 结构详解、inception v2 和 inception v3   参考 https://www.cnblogs.com/makefile/p/nin.html，第一个卷积核是11x11x3x96...
NiN(网络中的网络)
qq_45786156的博客
06-27 424
1、NiN与AlexNet的区别 卷积层的输入和输出通常是四维数组（样本，通道，高，宽），而全连接层的输入和输出则通常是二维数组（样本，特征）。如果想在全连接层后再接上卷积层，则需要将全连接层的输出变换为四维。这里用1*1卷积层代替全连接层。图像对比如下： ...
网络中的网络：NiN
weixin_45564943的博客
12-11 1629
前面几篇文章介绍的LeNet、AlexNet和VGG在设计上的共同之处是：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。其中，AlexNet和VGG对LeNet的改进主要在于如 何对这两个模块加宽（增加通道数）和加深。今天我们来介绍网络中的网络（NiN）：它提出了另外 一个思路，即串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络。 我们知道卷积层的输入和输出通常是四维数组（样本，通道，高，宽），而全连接层的输入和输出则通常是二...
NIN (Network In Network)
weixin_30632089的博客
10-11 294
Network In Network 论文Network In Network(Min Lin, ICLR2014). 传统CNN使用的线性滤波器是一种广义线性模型(Generalized linear model,GLM)。所以用CNN进行特征提取时，其实就隐含地假设了特征是线性可分的，可实际问题往往是难以线性可分的。CNN中通过堆加卷积过滤器来产生更高层的特征表示,作者想到了除了像之前一样堆加...
NIN(network in network)
wydbyxr的博客
11-27 419
NIN(network in network) 1）MLP卷积层   利用多层mlp的微型网络，对每个局部感受野的神经元进行更加复杂的运算，而以前的卷积层，局部感受野的运算仅仅只是一个单层的神经网络罢了。   提出了对卷积层的改进算法：MLP卷积层。Mlpconv层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络。一般来说mlp是一个三层的网络结构。NIN网络的mlp指的是局部感受野的，...
网络中的网络-NiN
最新发布
qq_41286360的博客
04-04 486
NiN是一个创新的深度卷积神经网络模型，它通过引入“网络中的网络”概念和1x1的卷积核设计，显著提高了模型的非线性能力、特征提取能力和参数效率。NiN的成功证明了深度学习在计算机视觉领域的进一步潜力，并为后续更深、更复杂的卷积神经网络模型的研究和应用提供了有益的启示。
神经网络系列（四）--NIN 网络结构
coder
10-28 5412
深度学习之NIN 网络结构 一、简介 NIN(NetWork In NetWork) 是出自新加坡国立大写2014年的论文"Network In Network",NIN 改进了传统的CNN，采用了少量参数就取得了超过AlexNet的性能，AlexNet网络参数大小是230M，NIN只需要29M，此模型后来先后被Inception与ResNet 等所借鉴。 二、网络结构 此网络结构总计4层： 3...
扒一扒神经网络--NIN
u012885745的博客
12-02 806
Network in network 作为GoogLeNet等Inception网络的设计提供了一个很好的开端，NIN这篇论文提供了一个很好trick，因此在分析Inception系列之前，我们先来扒一扒这篇network in network Title: Network in network Author and affiliation: Min Lin; 新加坡国立大学 Year: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值