深度学习——day3 深度卷积网络之 1x1卷积 和 “盗梦空间”

最新推荐文章于 2024-08-24 14:18:58 发布
最新推荐文章于 2024-08-24 14:18:58 发布
阅读量156 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43537420/article/details/126544255
版权

这里写目录标题

1x1卷积

[Lin et al.,2013.Network in network]

1x1卷积实现的功能是遍历并应用ReLu非线性函数，从根本上理解是各单元都应用了一个全连接神经网络
在这里插入图片描述
实例
压缩nC的方法，压缩信道数量并 减少/增加 计算量
在这里插入图片描述

Inception network

[Szegedy et al.2014.Going deeper with convolutions]

作用

  • 代替人工来确定卷积层中的过滤器类型
  • 确定是否需要创建卷积层或池化层
    在这里插入图片描述

计算成本

上图中5x5的filter，计算成本约120亿
在这里插入图片描述
接下来使用1x1卷积，构建瓶颈层，大量缩减计算

在这里插入图片描述
计算成本为原来的1/10
在这里插入图片描述

Inception module

在这里插入图片描述
这就是一个Inception module，解释一下最大池化，因为最大池化后信道数量仍然很大，所以用1x1卷积缩减信道

Szegedy et al.,2014,Going Deeper with Convolutions
[Szegedy et al.,2014,Going Deeper with Convolutions]

分支

  • 通过隐藏层做出预测，其实是一个softmax输出
  • 防止网络发生过拟合在这里插入图片描述
  • 有趣的梗来源——inception（盗梦空间）

在这里插入图片描述

想太多!
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
卷积神经网络结构简述（二）Inception系列网络
Sundrops的专栏
01-13 4888
Inception是电影《盗梦空间》的外文原名，寓意是起点/开端，里面有一句经典的台词是: “we need to go deeper”，Inception Network取名于此 卷积神经网络结构简述（二）Inception系列网络WILL深度学习搬砖者​关注他50 人赞了该文章作为一名初入茅庐的搬砖者，最近在用深度学习做图像分类任务，粗略的学习了下卷积神经网络近几年结构的升级。根据个人的理...
深度学习 1*1 卷积的使用
YOULANSHENGMENG的博客
10-25 5745
在卷积神经 网络的开源框架中，一般每层的数据和权重都使用四维的张量的表示。一个四维张量的形状是（N*C*H*W）或（N*H*W*C），其中N是批处理的大小，因为一般训练模型都是采用批量数据；C是特征通道数目，H*W是特征图的高和宽。 通道内特征和通道间特征：在卷积神经网络中，下一层网络的神经元同时融合了上一层特征通道中对应空间位置的神经元及其邻接位置元的信息，以及不同特征通道对应空间位置的神经元信息。 ...
论文阅读-Going Deeper with Convolutions
LuffysMan的博客
06-23 649
作者: Christian Szegedy(贾扬清大神是三作哦) 日期: 2015 类型: conference article 来源: CVPR 评价: 论文链接: 1 Purpose The efficiency fo the algorightms matters, especially on mobile and embedded devices. The author’s aim is ...
PyTorch 入门与实践（六）卷积神经网络进阶（GoogLeNet、ResNet）
过招
08-01 1240
来自 B 站刘二大人的《PyTorch深度学习实践》P11 的学习笔记 GoogLeNet 1×1 卷积 上一篇我们知道，卷积的个数取决于输入图像的通道数。 1×1 卷积能起到特征融合、改变通道数和减少计算量的效果，被称为神经网络中的神经网络 例如，我们先通过 1×1 卷积减少了通道的数量，让大的卷积核计算更少的通道数，能大大减少计算量： Inception Module Inception（盗梦空间） Module 的目的在于给神经网络提供多个卷积层的配置，在将来通过训练选择最优线路，和.
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
PyTorch深度学习实战（11）——卷积神经网络
盼小辉丶的博客
08-14 9193
卷积神经网络 (Convolutional Neural Network, CNN) 是一种广泛应用的深度学习模型。通过参数共享、局部感知和空间结构等优势，能够更好地处理图像数据，并在图像识别、目标检测和图像生成等任务中展现出强大的能力。在本节中，介绍了卷积的计算方法以及卷积神经网络的基本组件，并使用 PyTorch 构建了卷积神经网络以深入了解其工作原理。
深度学习基础学习-1x1卷积核的作用（CNN中）
小夭的博客
11-09 2万+
1x1卷积核作用
深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
dvlinker的技术专栏
10-25 2万+
深入探究深度学习、神经网络与卷积神经网络以及它们在多个领域中的应用
MachineLearning学习——0220——深度学习之卷积神经网络、自编码器
01-20
卷积神经网络Convolutional Neural Network 介绍：与多层感知机的结构很相似：输入层，一些隐藏层，输出层，这些层多由卷积层、池化层、全连接层组成，层后面也会伴随激活函数、正则化处理。但有两个明显不同。1、...
《动手学深度学习——卷积神经网络、LeNet、卷积神经网络进阶》笔记
01-07
动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶 卷积神经网络基础 目录： 1、卷积神经网络的基础概念 2、卷积层和池化层 3、填充、步幅、输入通道和输出通道 4、卷积层的简洁实现 5、池化层的简洁实现 1、...
深度学习（五）————卷积神经网络基础、leNet、卷积神经网络进阶
01-07
深度卷积神经网络（AlexNet） AlexNet 使用重复元素的网络（VGG）¶ ⽹络中的⽹络（NiN） GoogLeNet 卷积神经网络基础 本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和...
深度学习学习经验——全连接神经网络（FCNN）
Linductor的博客
08-22 955
全连接神经网络（FCNN）是最基础的神经网络结构，它由多个神经元组成，这些神经元按照层级顺序连接在一起。每一层的每个神经元都与前一层的每个神经元连接。接待区交流区和结果区。
深度学习学习经验——长短期记忆网络（LSTM）
Linductor的博客
08-23 1233
长短期记忆网络（LSTM，Long Short-Term Memory）是一种特殊的循环神经网络（RNN），专为解决 RNN 中长期依赖问题而设计。
深度学习学习经验——深度学习名词字典
Linductor的博客
08-23 1272
解释各个基础名词的字典
深度学习学习经验——什么是深度学习
Linductor的博客
08-22 734
深度学习是机器学习的一个子领域，它使用多层神经网络来自动从大量数据中学习和提取特征。深度学习尤其适合处理大规模的数据，如图像、语音和文本等。基本概念神经网络：深度学习模型的核心是神经网络，灵感来源于人脑的结构和功能。神经网络由大量的节点（神经元）组成，这些节点通过连接（权重）相互传递信息。层：神经网络通常由多个层级组成。每一层对输入数据进行处理并将结果传递给下一层。最常见的层有输入层、隐藏层和输出层。深度：深度学习之所以得名，是因为它使用了多个隐藏层（即“深度”）。
深度学习100问2-分布式假设在自然语言处理中的应用场景有哪些
最新发布
yyq916的博客
08-24 431
比如英语“ I love apples”和法语“J'aime les pommes”里，“love”和“aime”、“apples”和“pommes”就会被认为是对应的词，这样就能帮助建立翻译模型啦。在不同主题的文章里，根据分布式假设把词变成向量后，用聚类等方法就能发现和科技主题相关的文章里会有“技术”“创新”“研发”等词，娱乐主题的文章里会有“明星”“电影”“音乐”等词，这样就能区分不同主题的文章啦。比如一篇影评里有“精彩”“出色”这些词，它们的向量就能体现出积极的情感倾向，这样就能判断影评是积极的啦。
深度学习学习经验——循环神经网络（RNN）
Linductor的博客
08-23 1097
循环神经网络（Recurrent Neural Network, RNN）是一种适合处理序列数据的神经网络，它能够利用历史信息来预测当前输出，适用于时间序列预测、自然语言处理等任务。RNN 的关键在于它具有“记忆”功能，可以将前一时刻的信息传递到下一时刻。RNN 的这种特性主要体现在它的隐藏状态（Hidden State）和时间步长（Time Step）的循环更新机制上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值