套娃的开始——Network in Network网络学习笔记

最新推荐文章于 2021-05-12 09:38:27 发布
最新推荐文章于 2021-05-12 09:38:27 发布
阅读量257 收藏
点赞数
分类专栏： Deeplearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45998041/article/details/114692130
版权
本文是关于2014年ICLR论文《Network in Network》的学习笔记，介绍了如何使用1X1卷积层替代传统卷积以引入非线性特征提取，以及全球平均池化层在减少模型复杂性和过拟合方面的优势。NIN网络结构的创新对后续深度学习模型产生了深远影响。
摘要由CSDN通过智能技术生成

前言

《Network in Network》是2014年ICLR的一篇文章，文章当时较为创新，对后面的一些模型产生了一些较为深远的影响，现在看来，尽管文章较为久远，仍不失为经典论文，对现在的吾辈来说仍值得细细品读学习。

文章亮点

1、用MLP conv代替传统卷积层
NIN这篇论文指出，在常规卷积层后加上若干个1X1的卷积层，每个卷积核视为一个神经元，多个1X1卷积的线性组合就可以看作是一个全连接层。一般卷积操作可以看成特征的提取操作，而一般卷积一层只相当于一个线性操作，所以其只能提取出线性特征。所以该作者就像能否在卷积层后也加入一个MLP使得每层卷积操作能够提取非线性特征。
在这里插入图片描述
一般来说假如当前层与下一层都是一个通道，那么1X1卷积核似乎作用不大，但是上下层分别为m层和n层的话，它可以可以起到一个跨通道聚合的作用，降维（或者升维）数据，起到减少参数的目的。 而因为卷积操作本身就可以做到各个通道的重新聚合的作用，所以1×1的卷积核也能达到这个效果。
下面利用几张图来诠释一下1X1卷积层的作用过程：

输入一张feature map，经过两层mlpcon输出一张feautre map
在这里插入图片描述

最低0.47元/天 解锁文章
20Xx太空漫游
关注
专栏目录
李宏毅2020机器学习课程笔记（二）- 深度学习
⚡
11-30 1324
文章目录1. Deep LearningBrief Introduction of Deep Learning（P12）Backpropagation（P13）Tips for Training DNN（P14）Why Deep-（P15）PyTorch Tutorial（P16） 1. Deep Learning Brief Introduction of Deep Learning（P12） 首先，李宏毅老师介绍了深度学习的发展历程，以及在Google上搜索Deep Learning的结果。 实际上
李宏毅《机器学习》笔记：11.为什么要用深度模型
羊老羊
10-05 396
文章目录1. 同样数量的参数，哪种模型好？2. 原因2.1 问题1：为什么变高比变宽好呢？2.2 问题2：深度学习和模组化有什么关系？ <--------感谢评论、答疑、指正！---------> 2021.10.5 LeeML-Notes：P22 洋洋洒洒老师讲了一大章，主要内容很简单，讲了俩事 1. 同样数量的参数，哪种模型好？ 前提就是调整shallow和Deep让他们的参数是一样多，shallow model较好还是deep model较好？ 【相同参数量的时候】 我们用5层
Network in Network网络配置文件
12-26
NIN网络的配置文件可以直接在caffe环境下使用，有需要的不容错过。
Network In Network
LYKymy的博客
08-02 516
Abstract 我们提出了一种新的深度网络结构，称为“网络中的网络”（NIN），以增强接收领域中局部补丁的模型可区分性。传统的卷积层使用线性滤波器，然后是非线性激活函数来扫描输入。相反，我们构建具有更复杂结构的微神经网络来抽象接收领域内的数据。我们用多层感知器实例化微神经网络，这是一种有效的函数逼近器。通过以与CNN类似的方式在输入上滑动微网络来获得特征图; 然后将它们送入下一层。深NIN可以...
（Paper）Network in Network网络分析(还是有点疑惑)
qq_37791134的博客
09-04 1244
Network In Network学习笔记 原文地址：http://blog.csdn.net/hjimce/article/details/50458190 作者：hjimce 一、相关理论 本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松...
Network IN Network的理解
leung的博客
12-29 486
  上面二图就是Network IN Network 具体我们可以来看第二张图的一个MLPconverlution，一个MLPconverlution块其实可以分为两步：一个正常的卷积，与一个1*1的卷积（或者说“选择性”的全连接网络） 第一个MLPconverlution是一个224*224*3的input，正常情况下，被96个11*11*3的卷积核（假设步长为N）卷积完之后是一个...
Network in Network 学习笔记
One Way的博客
02-21 369
Network in Network 简介 本文将传统CNN中的GLM(generalized linear model)替换为MLP(Multi layer perception)从而增加模型对感受野中局部特征的辨别能力增加非线性，并引入了global average pooling的概念来代替全连接网络（有特征分类的过拟合问题）。 结构 用多个多层感知机+激活函数 代替卷积层运算： 添加...
【学习笔记】计算机网络——第四章 网络层
TommyGong08的博客
05-12 1337
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 文章目录系列文章目录概述数据交换方式为什么要数据交换？数据交换方式电路交换报文交换分组交换分组交换与报文交换时延对比二、使用步骤1.引入库2.读入数据总结 概述 网络层的主要任务是把分组从源端传到目的端，为分组交换网上的不同主机提供通信服务。网络层传输单位是数据包。 功能一：路由选择与分组转发 功能二：异构网络互联 功能三：拥塞控制 分组是什么？ 分组和数据报就好像父与子的关系，数据报是比较长的数据，但是分组是把数据报进行
学习论文《Neural Snowball for Few-Shot Relation Learning》笔记
いいこと？暁の磕盐线に胜利を刻みなさいっ！
01-31 2798
笔记在一定程度上参考了AI科技评论的用于少次关系学习的神经网络雪球机制 1.文章的创新点 关系增长的关系抽取 关系抽取（RelationExtraction）是自然语言处理当中的一个重要研究课题，其探究如何从文本中抽取结构化的关系事实。例如，从句子“比尔盖茨是微软的创始人”中，我们可以抽取出（比尔盖茨，创始人，微软）这样一个关系三元组，并用于知识图谱补全等下游任务中。 与关系抽取相关的工作有很多...
network in network 基于caffe的实现
01-08
network in network 基于caffe的实现, 一个是训练参数文件solver.prototxt, 一个是网络结构文件net.prototxt
SVHN数据集
11-23
The Street View House Numbers(SVHN)数据集，原数据为mat文件格式，已提取成图像，并将label标注出来，训练集测试集总共有10w张图片
Network-in-network理解
heruili的博客
05-10 1611
在Network in Network结构（NIN结构），mlpconv层相当于先进行一次普通的卷积（比如3x3），紧跟再进行一次1x1的卷积。 由图可知，mlpconv=convolution+mlp（图中为2层的mlp）。 在实现上,mlpconv=convolution+1×1convolution+1×1convolution（2层的mlp） 个人认为实现NIN就是在原来的卷积后再加上1...
Network In Network 网络解析
GL3_24的博客
05-21 985
Network In Network 原文：https://arxiv.org/abs/1312.4400 Abstract： We propose a novel deep network structure called “Network In Network”(NIN) to enhance model discriminability for local patches within th...
Network in Network 算法解析
qq_29462849的博客
06-25 444
创新点 文章的新点： 采用 mlpcon 的结构来代替 traditional 卷积层； remove 卷积神经网络最后的 全连接层，采用 global average pooling 层代替； mplconv 结构的提出： conventional 的卷积层 可以认为是linear model , 为什么呢，因为 局部接收域上的每每一个tile 与 卷积核进行加权求和，然后接一...
经典卷积神经网络结构--Network In Network
小熊猫的博客
12-13 1135
Network In Network 是13年的一篇paper， 引用：Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013. 文章的新点： 1. 采用 mlpcon 的结构来代替 traditional 卷积层；  2. remove 卷积神经网络最后的 全连接层，采用 glob...
TFlearn——（2）SVHN
weixin_30677617的博客
01-20 682
1，数据集简介 　　SVHN（Street View House Number）Dateset 来源于谷歌街景门牌号码，原生的数据集1也就是官网的 Format 1 是一些原始的未经处理的彩色图片，如下图所示（不含有蓝色的边框），下载的数据集含有 PNG 的图像和digitStruct.mat 的文件，其中包含了边框的位置信息，这个数据集每张图片上有好几个数字，适用于 OCR 相关方向。 ...
【Tensorflow tf 掏粪记录】笔记六——DCGAN
IronMastiff的博客
05-01 767
DC_GAN与之前的生成MNIST数据集的项目一样，同样是利用了GAN神经网络的特性。让机器学会模仿并生成类似的图片。 只是这里不同的是，鉴别器的神经网路由全连接神经网络改成了卷积神经网络。同样的，生成器的神经网络也变成了反卷积神经网络，毕竟这次的SVHM数据集比MNIST数据集复杂。下图是DCGAN论文中关于反卷积的图片： 项目代码 https://github.com/IronM...
Mnist数据集和Usps数据集
热门推荐
l8947943的博客
07-26 1万+
1. 最近做实验，用到迁移的数据，无奈数据量太少，于是使用公共数据集Mnist和Usps数据集进行对比实验。 数据介绍： Mnist数据集：每张图是28 * 28的大小，同时一共70000万张图片，一共是10类手写数字 Usps数据集：每张图是16 *16 的大小，一共20000万张图片，一共是10类手写数字 2. 原版的mnist数据集很好找到，我就不赘述了，直接上传文件，可以使用......
ctfshow套娃shell
最新发布
08-24
CTFSHOW套娃shell是一种常见的利用技术，用于在Web应用程序中执行命令和控制服务器。根据提供的引用内容，以下是一种使用CTFSHOW套娃shell的方法： 1. 首先，需要获取CTFSHOW扩展。可以通过运行命令`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值