2020-2-19 深度学习笔记9 - 卷积网络2（池化，卷积与池化作为一种无限强的先验）

最新推荐文章于 2023-03-22 21:26:47 发布
最新推荐文章于 2023-03-22 21:26:47 发布
阅读量737 收藏 1
点赞数
分类专栏： 深度学习 IT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42555985/article/details/104395488
版权
本文介绍了卷积网络中池化的概念和作用，指出池化增加了对少量平移的不变性，提高了统计效率。同时，文章探讨了卷积与池化作为无限强先验的含义，以及其可能带来的欠拟合问题。
摘要由CSDN通过智能技术生成

第九章 卷积网络

官网

2020-2-19 深度学习笔记9 - 卷积网络1（卷积运算，动机-稀疏交互、参数共享、等变表示）

池化

回顾一下CNN卷积神经网络层级结构，看一下池化的位置
在这里插入图片描述卷积网络中一个典型层包含三级，如下图所示。

  • 在第一级中，这一层并行地计算多个卷积产生一组线性激活响应。
  • 在第二级中，每一个线性激活响应将会通过一个非线性的激活函数，例如整流线性激活函数。这一级有时也被称为探测级。
  • 在第三级中，我们使用池化函数来进一步调整这一层的输出。
    在这里插入图片描述
    使用池化可以看作是增加了一个无限强的先验：这一层学得的函数必须具有对少量平移的不变性【解释参见补充2】。当这个假设成立时，池化可以极大地提高网络的统计效率。

对空间区域进行池化产生了平移不变性，但当我们对分离参数的卷积输出进行池化时，特征能够学得应该对哪种变换具有不变性࿰

最低0.47元/天 解锁文章
没人不认识我
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Series2Image-master_深度学习_信号处理_卷积神经网络_tensorflow信号_
10-01
在深度学习领域，卷积神经网络（Convolutional Neural Network, CNN）是一种极其重要的模型，尤其在图像识别和处理方面表现突出。然而，这个“Series2Image-master”项目似乎将CNN的应用拓展到了无线电信号识别上，...
深度学习读书笔记：DeepLearningBook - Chapter 9 - Conventional Networks
JacobKong的博客
02-18 2803
Chapter 9 Convolutional Networks（卷积神经网络） 卷积网络仅仅是在其至少一个层中使用卷积代替一般矩阵乘法的神经网络。 The Convolution Operation The convolution operation is typically denoted with an asterisk: * 在卷积网络术语中，卷积的第一个参数（在本例中为函数x）通常称为
花书笔记 卷积网络（9.4卷积与池化作为一种无限强的先验）
qq_42111088的博客
09-01 565
卷积操作可以看成全连接网络，但对这个全连接网络有一个无限强的先验，指 1.一个隐藏单元的权重必须和它邻居的权重相同。 2.除了处在隐藏单元的小的空间连续的接受域内的权重之外，其余的权重都为0. 对第一条解释一下：这里说的权重不针对同一个输出单元。 如上图，x_2和x_3共享 a,b,c 这三个权重值，但输出单元不同，比如 x_2*b --> s_2, 而 x_3*b --> s...
深度学习-6.卷积神经网络CNN
bingokunkun的博客
11-05 578
卷积神经网络卷积运算数学上的卷积动机稀疏交互参数共享等变表示池化无限强的先验基本卷积函数的变体结构化输出数据类型高效的卷积算法随机或无监督的特征卷积网络的神经科学基础 卷积运算 数学上的卷积 数学上的卷积是一种对两个实变函数的数学运算。公式为s(t)=∫x(a)w(t−a)das(t) = \int x(a)w(t - a)\mathbb{d}as(t)=∫x(a)w(t−a)da 动机 稀疏交互 参数共享 等变表示 池化 无限强的先验 基本卷积函数的变体 结构化输出 数据类型 高效的卷积算法 随机或无监督
【AI绘图学习笔记】卷积网络(一) 卷积和池化
最新发布
milu_ELK的博客
03-22 705
使用分离的参数学得多个特征，再使用池化单元进行池化，可以学得对输入的某些变换的不变性。上图展示了池化的不变性，下面一行在探测级上给出了非线性的输出（例如ReLU整流后的结果），上面一行代表了最大池化的输出，每个池的宽度为三个像素并且池化区域的步幅为一个像素，池化层选取了输入中的最大值作为输出结果。在传统的神经网络中，使用矩阵乘法来建立输入与输出的连接关系，参数矩阵中的每一个单独的参数都描述了一个输入单元与一个输出单元之间的交互，也就意味着传统的神经网络中每一个输出单元与输入单元都产生交互，如下图所示。
【深度学习】平移不变性 (translation invariant)
热门推荐
JNing
12-18 2万+
【深度学习】平移不变性 (translation invariant)
基于矩阵2-范数池化的卷积神经网络图像识别算法.pdf
09-26
总结来说，本文提出了一种创新的池化策略，即基于矩阵2-范数的池化，它通过保留图像的奇异值来获取图像的关键能量信息，从而增强卷积神经网络在图像识别任务上的表现。这种方法不仅理论上具有理论依据，而且在实际...
helodoger-draw_convnet-master_python_深度学习；卷积神经网络_
09-29
卷积神经网络（Convolutional Neural Networks，简称CNNs）是深度学习领域中的一种核心模型，尤其在图像处理和计算机视觉任务中表现出色。本文将深入探讨CNNs的基础概念、结构以及其在Python中的实现。 一、卷积...
机器学习系列12-卷积神经网络CNN part2
01-20
卷积神经网络（CNN）是深度学习领域中的关键模型，尤其在图像识别和处理任务中表现出色。本篇文章主要探讨了CNN的工作原理、为何选择CNN以及如何设计CNN，并尝试解答了CNN到底学习到了什么。 首先，CNN的核心在于卷...
深度学习8-卷积神经网络基础
01-06
卷积神经网络基础二维卷积层互相关运算与卷积运算特征图与感受野卷积层的两个超参数多输入通道和多输出通道卷积层与全连接层的对比卷积层的实现池化 主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的...
深度学习花书学习笔记 第九章 卷积网络
liutianheng654的博客
10-06 1804
卷积运算 内积和外积中的内积被通常认为时卷积，可交换性是因为他经过了翻转。但是神经网络中一般不应用翻转。而是直接使用互相关函数： 动机 三大特性：稀疏交互、参数共享、等变表示。 稀疏交互：核的大小远小于输入。相对于全连接，一个输入项只影响较少神经元，大大减少运算量。 参数共享：也叫绑定权重，每个核的权重不变，遍历整个输入。使我们只需要少量参数， 等变表示：卷积网络具有平移等变的...
【深度学习】卷积神经网络为什么具有平移不变性？
Ray
05-09 6523
什么是平移不变性？ 不变性 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。这对图像分类来说是一种很好的特性，因为我们希望图像中目标无论是被平移，被旋转，还是被缩放，甚至是不同的光照条件、视角，都可以被成功地识别出来。 所以上面的描述就对应着各种不变性： 平移不变性：Translation Invariance 旋转/视角不变性：Ratation/Viewpoint Inv...
卷积神经网络CNN理论到实践(2)
相国大人
05-31 6576
1. 导读在上一篇博文《卷积神经网络CNN理论到实践(1)》中,我们首先介绍卷积的概念，然后解释在神经网络中使用卷积的原因:sparse interactions，parameter sharing和equivariant representations.接下来，我们将要介绍的内容是： 1. 池化 2. 一些在神经网络中常用的卷积函数 3. 如何在数据集上使用不同维度的卷积 4. 使得
一文读懂卷积神经网络CNN（学习笔记）
数据派THU
12-29 5149
来源：机器学习算法与自然语言处理作者：白雪峰本文为图文结合，建议阅读10分钟。本文为大家解读如何简单明了的解释卷积，并且分享了学习中的一些方法案例。首先文章的提纲为：CNN栗子镇楼What is CNN            什么是卷积            什么是池化Why CNN对CNN的其他一些理解CNN实现（接口）1、CNN栗子（A Beginning Glimpse of CNN）Mod
ScalersTalk成长会机器学习小组-深度学习第3次学习笔记
myboyliu2007的专栏
05-30 3304
第九章 前言 什么是卷积 神经网络里卷积的目的 什么是池化 卷积和池化的强先验 前言卷积网络也叫卷积神经网络（或者CNN），是一种特殊的深层的神经网络模型，它适合于时间序列数据的处理和图像数据处理。这章内容主要讨论内容： 什么是卷积 使用卷积的动机 什么是池化 用于实践中的神经网络的几个变化卷积函数 卷积如何应用于各种维度不同的数据 讨论一些如何使卷积神经更有效率 补充内容：卷积神经网络的特殊性体现
Goodfellow花书学习笔记-卷积神经网络
iwill323的博客
09-12 715
Goodfellow花书 - CNN
深度学习学习笔记——CNN中的平移不变性和尺度不变性
phily123的博客
09-01 1086
添加链接描述
【CNN】一文读懂卷积神经网络CNN
产业智能官
01-03 2万+
来源：机器学习算法与自然语言处理作者：白雪峰本文为图文结合，建议阅读10分钟。本文为大家解读如何简单明了的解释卷积，并且分享了学习中的一些方法案例。首先文章的提纲为：CNN栗子镇楼What is CNN            什么是卷积            什么是池化Why CNN对CNN的其他一些理解CNN实现（接口）1、CNN栗子（A Beginning Glimpse of CNN）Mod
深度学习(九)之卷积网络①
wenhui12345的博客
10-14 4512
卷积网络，也叫卷积神经网络(CNN)，是一种专门依赖处理具有类似网络结构的数据的神经网络。卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来代替一般的矩阵乘法运算的神经网络。 9.1 卷积运算 在通常形式中，卷积是对两个变体函数的一种数学运算。 假设我们正在用激光传感器追踪一艘宇宙飞船的位置。我们的机关传感器给出一个单独的输出x(t),表示宇宙飞船在时刻t的位置。
深度学习：LeNet-5与AlexNet卷积神经网络模型解析
"LeNet-5模型是深度学习领域中的一个里程碑，由Yann LeCun教授提出，主要用于手写数字识别。该模型包含7层，包括输入层、卷积层（C1和C3）、池化层（S2和S4）、全连接层（F5）以及输出层。输入层接收32x32像素的图像...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值