深度学习之NIN模型结构全解析

最新推荐文章于 2023-10-24 20:10:16 发布
最新推荐文章于 2023-10-24 20:10:16 发布
阅读量4.9k 收藏 18
点赞数 6
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39751437/article/details/97622636
版权
NIN（Network in Network）模型引入了MLP（多层感知机）代替GLM，以及Global Average Pooling，减少过拟合并增强模型解释性。1x1卷积用于减少参数数量，全局平均池化替代全连接层，提高模型泛化能力。
摘要由CSDN通过智能技术生成

文章目录

CNN发展历程：VGG--》NIN--》inception--》ResNet

参考：卷积神经网络CNN经典模型整理1
参考：卷积神经网络CNN经典模型整理2

一、NIN是什么

GoogLeNet的Inception模型提出之时，其实idea是来自NIN，NIN就是Network in Network，NIN有两个特性

MLP代替GLM

GLM就是广义线性模型。那么MLP是指，在做卷积操作的时候，把线性操作变为多层感知机。
左图为普通的卷积，右图为mlpconv，Mlpconv相当于在正常的卷积层后面，再添加一个1×1的卷积层。
转载：Network in Network中的1*1卷积核

最低0.47元/天 解锁文章
努力努力再努力F_
关注
  • 6
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习之基础模型-NIN
whz1861的博客
09-24 2401
Network in Network 是google提出的一种在网络结构上非常具有创造性的文章。以前的深度学习结构，往往是CNN+FC之类的组合，这样在CNN与FC进行结合的过程中，则把两部分过程独立来开，CNN负责提取特征，FC负责特征分类。而NIN则利用mlpconv和global average pooling将CNN和FC两部分有机的结合在一起，使得其可解释性更强。从而文章的创新点： *提出
深度学习常用网络模型pytorch版本.zip
02-08
每个模型都有其独特的设计思想和优化策略，如AlexNet的局部响应归一化，LeNet的池化层，NiN的微网络结构，ResNet的残差学习，以及VGGNet的深度探索。通过PyTorch，我们可以轻松地调整参数，复现这些经典模型的实验...
动手学深度学习（二十一）——NiN：CNN经典模型（四）
Liu Feng's Blog
08-12 1386
1. 什么是网络中的网络（NiN） LeNet、AlexNet 和 VGG 都有一个共同的设计模式：通过一系列的卷积层与池化层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。 AlexNet 和 VGG 对 LeNet 的改进主要在于如何扩大和加深这两个模块。 或者，可以想象在这个过程的早期使用全连接层。 然而，如果使用稠密层了，可能会完全放弃表征的空间结构。 网络中的网络 (NiN) 提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机（Lin.Chen.Yan.2013） 1.1
深度学习——NIN
c20081052的专栏
09-17 558
NIN：Network in Network网络（NiN） 作用是提高了CNN的局部感知区域（Bottleneck layer瓶颈层） 1X1的卷积层，做降维度或升维度；他的核大小为1X1（深度待定义） 降维例子：如输入为8X1X 1X5（输入核为8，输出核为5） 意义：做特征的重新整合，如输入的8层比较稀疏，可输出5层比较密集的特征；降维为后续的卷积层做准备；
[论文解读]深度学习基础模型NIN(Network in Network)+Pytorch
程序客栈
04-05 853
论文(2014年): 链接 Pytorch代码: 链接 《Network In Network》是一篇比较老的文章了（2014年ICLR的一篇paper），是当时比较牛逼的一篇论文，同时在现在看来也是一篇非常经典并且影响深远的论文，后续很多创新都有这篇文章的影子。通常里程碑式的经典是不...
深度学习：NiN（Network In Network）详细讲解与代码实现
Hanze的博客
10-23 1735
1 * 1卷积实际上就是对特征图所有channel对应的像素点做全连接网络，由于它只考虑了1个像素点，它不像3 * 3卷积那样可以考虑周围像素点，但是可以让特征图在不需要padding的情况下保证的H、W不变，也就是融合了买个像素点不同通道的特征所以它也有跨通道交融的作用。卷积核的数量决定了输出的维度，所以用1 * 1卷积只会改变特征图的channel数，这也就是1 * 1卷积有升维 、降维的作用，在维度降低的同时，计算量也就减少了，模型速度会变快，与此同时，它在保留了空间信息的同时，还增加了非线性激活函数
深度学习总结（lecture 7）Network in Network（NIN）
malele4th
02-28 752
lecture 7：Network in Network（NIN） 目录 lecture 7：Network in Network（NIN） 目录 1、NIN结构 2、MLP卷积层 3、全局均值池化 4、总体网络架构 5、NIN补充 5.1广义线性模型（GLM）的局限性 5.2CCCP层 6、1*1卷积的作用 7、手势识别RGB图像——NIN结构 1、NIN结构 ...
NIN网络模型模块
04-21
NIN模型的模块化实现 result值用于loss计算和预测 仅供参考
深度学习——卷积神经网络
01-20
这些模型的发展推动了卷积神经网络的进步，使得CNN成为现代深度学习系统的核心组件，广泛应用于图像分类、目标检测、语义分割、图像生成等多个领域。理解和掌握CNN的基本原理和实现方式对于深度学习实践至关重要。
基于深度学习的船舶火灾报警技术.pdf
08-18
由于船舶环境的特殊性，数据集的构建要尽可能模拟实际船舶环境的复杂性和封闭性，同时保证数据量足以支撑深度学习模型的训练需求。 为了提高模型在实际应用中的部署性能，研究者们设计了轻量化的卷积神经网络模型，...
《动手学习深度学习》之三：2.卷积神经网络（CNN）进阶-5种模型（打卡2.5）
01-20
卷积神经网络（CNN）是深度学习领域中的关键模型，尤其在图像处理任务中表现出色。本节将探讨五种经典的CNN模型：LeNet、AlexNet、VGG、NiN和GoogLeNet，首先从LeNet开始。 LeNet是由Yann LeCun等人在1998年提出的...
深度学习——NiN网络模型（笔记）
jbkjhji的博客
12-08 849
网络中的网络（NiN）1.全连接层的问题：参数多，容易过拟合。 ①卷积层需要的参数较少 ②卷积层后第一个全连接层参数对比参数过多带来的问题：1.占内存 2.占用计算的带宽多3.容易过拟合2.NiN为了解决全连接层参数过多的问题，NiN的思想是不使用全连接层（使用1*1卷积代替）①一个卷积层后跟着两个1*1的卷积层②步幅为1，无填充，输出形状跟卷积层输出一样③起到全连接层的作用 3.NiN的架构 ①没有全连接层②交替使用NiN块和步幅为2的最大池化层，逐步减小高宽和增大通道数③最后使用全局平均池化层得到输出，
神经网络系列（四）--NIN 网络结构
coder
10-28 4988
深度学习之NIN 网络结构 一、简介 NIN(NetWork In NetWork) 是出自新加坡国立大写2014年的论文"Network In Network",NIN 改进了传统的CNN，采用了少量参数就取得了超过AlexNet的性能，AlexNet网络参数大小是230M，NIN只需要29M，此模型后来先后被Inception与ResNet 等所借鉴。 二、网络结构 此网络结构总计4层： 3...
动手学深度学习_NiN
like_jmo的博客
08-04 152
NiN网络的结构与实现
NIN
cdknight_happy的专栏
03-04 536
论文核心思想如下图所示：
动手学深度学习—网络中的网络NiN（代码详解）
最新发布
qq_38473254的博客
10-24 310
LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。如果在过程的早期使用全连接层，可能会完全放弃表征的空间结构。而NiN（网络中的网络）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机。
Network in Network（NIN）网络结构详解，网络搭建
weixin_45897172的博客
01-19 1775
Network in Network（NIN）网络结构详解，网络搭建
NIN详解
For_learning的博客
03-03 1217
NIN 论文《Network In Network》 1. 设计思路 卷积神经网络（CNN，Convolutional Neural Network）中，包含多个卷积层和池化层。 在传统的CNN模型中，卷积层通过filter进行卷积操作，再使用非线性激活函数进行处理，从而产生特征映射（feature mapping）。其中，高层卷积层提取到的feature mapping是在底层卷积层提取到的feature mapping的基础上进行再提取得到的，所以如果提高每个卷积层的特征提取能力，那么对于整体的特征
卷积神经网络（NiN）学习日记——基于pytorch框架
zw233333的博客
11-02 204
NiN去除了容易造成过拟合的全连接层，将它们替换为全局平均汇聚层（即在所有位置上进行求和），该汇聚层通道数量为所需的输出数量，移除全连接层可减少过拟合，同时显著减少NiN的参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值