卷积神经网络中的权值共享和局部连接

已于 2023-07-11 18:13:21 修改
阅读量2.4k 收藏 9
点赞数 3
分类专栏： 深度学习 文章标签： cnn 深度学习 计算机视觉
于 2023-01-31 16:06:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duxinyuhi/article/details/128816396
版权

卷积神经网络中的权值共享和局部连接

卷积神经网络的两大特点

权值共享，就是输入一张图，用一个filter去扫这张图，filter里面的数就叫权重，这张图每个位置都是被同样的filter扫的，所以权重是一样的，也就是共享。

权值共享

一维的情况，使用相同的权值向量来做卷积
在这里插入图片描述
在这里插入图片描述

二维情况示意图
在这里插入图片描述
一个m* m的卷积核在图像上扫描，进行特征提取，如图，是3* 3的卷积核，如果channels为k的话，那么总参数量为m* m* k

不进行参数共享
在这里插入图片描述
卷积核的参数数量为W(width)*H(height)*K(kernel)

全连接

在这里插入图片描述
此时参数量W(width)*H(height)*n(hidden node)
参数量巨大

例如，InceptionV3的输入图像尺寸是192* 192的，如果把第一层 3* 3* 32的卷积核去掉参数共享，参数数目会变成192* 192* 32，约120万个参数，是原来288个参数的4096倍

参考链接：
【1】如何理解卷积神经网络中的权值共享？ - Serendipity的回答 - 知乎
https://www.zhihu.com/question/47158818/answer/1499528063

【2】如何理解卷积神经网络中的权值共享？ - superbrother的回答 - 知乎
https://www.zhihu.com/question/47158818/answer/670431317

昱萱
关注
专栏目录
卷积神经网络CNN---权值共享
m0_37957160的博客
03-12 1万+
1、权值共享的由来： 权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构，就是下面这个： 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。 2、什么是权值共享？ 所谓权值共享就是说给定一张输入图片，用一个卷积核来卷积这张图，卷积核里的值叫做权重，这张图的每个位置是被同一个卷积核扫的，即卷积的
神经网络中的权值共享
sdw8855的博客
08-15 1426
权值共享的卷积操作有效解决了这个问题，无论图像的尺寸是多大，都可以选择固定尺寸的卷积核，LeNet中最大的卷积核只有5*5*1，而在AlexNet中最大的卷积核也不过是11*11*3。2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是。权值共享后意味着每一个卷积核只能提取到一种特征，为了增加CNN的表达能力，当然需要多个核，不幸的是，它是一个Hyper-Parameter。...
CNN中的局部连接(Sparse Connectivity)和权值共享
weixin_34112030的博客
11-16 2395
局部连接与权值共享 下图是一个很经典的图示，左边是全连接，右边是局部连接。 对于一个1000 × 1000的输入图像而言，如果下一个隐藏层的神经元数目为10^6个，采用全连接则有1000 × 1000 × 10^6 = 10^12个权值参数，如此数目巨大的参数几乎难以训练；而采用局部连接，隐藏层的每个神经元仅与图像中10 × 10的局部图像相连接，那么...
理解卷积神经网络中的权值共享
lovely_yoshino的博客
07-04 1万+
简单从共享的角度来说：权重共享即filter的值共享 卷积神经网络两大核心思想： 1.网络局部连接（Local Connectivity） 2.卷积核参数共享（Parameter Sharing） 两者的一个关键作用就是减少参数数量，使运算变得简洁、高效，能够在超大规模数据集上运算。 下面来用最直观的图示，来阐明两者的作用。 CNN的正确打开方式，如下所示 概括为：一个 的卷积核在图像上扫描，进行特征提取。通常， ， 的卷积核较为常用，如果channels为 [公式] 的话（32,64是较为常用的通道
卷积神经网络的局部连接和权值共享
热门推荐
dulingwen的博客
10-17 6万+
卷积神经网络（CNN）是一种目前计算机视觉领域广泛使用的深度学习网络，与传统的人工神经网络结构不同，它包含有非常特殊的卷积层和降采样层（有些文章和书籍里又称之为池化层、汇合层），其中卷积层和前一层采用局部连接和权值共享的方式进行连接，从而大大降低了参数数量。降采样层可以大幅降低输入维度，从而降低网络复杂度，使网络具有更高的鲁棒性，同时能够有效的防止过拟合。由于以上设计，卷积网络主要用...
深度学习之局部连接与权值共享
AI训练师中的点滴
09-10 2878
在网络中，如果全部使用全连接网络，则会使参数异常多，造成计算复杂，降低训练的效率。由此引入卷积层，卷积层能够有效减小训练参数，这与卷积具有的两个性质有关。 结合自身经历以及他人的疑问，对卷积神经网络有一个误解： 每个卷积核产生的feature map为一个神经元，正确的认知应该是每个神经元代表feature map的一个像素； **卷积层有两个比较重要的性质：** 1 局部连接 图1.全连接与卷积 图2.卷积示意图 如图所示，5×5为L层，3×3为L+1层，其中L+1层单元格值为6、10的两个格子，两
卷积神经网络中的权值共享
简简单单
03-04 3862
一、起源 权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构 其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个3*3*1的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数。说的再直白一些，就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片（当然CNN中每一层不会只有一...
卷积神经网络共享参数,卷积神经网络理论基础
ynca67269的博客
08-29 2218
卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。卷积神经网络的连接性：卷积神经网络中卷积层间的连接被称为稀疏连接（sparseconnection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。...
神经网络中的权值共享是什么？
CSDN 精品推荐
08-08 1693
权值共享通常在卷积神经网络（Convolutional Neural Networks，CNNs）中使用，因为CNNs在图像处理等任务中有很强的表现，并且图像中的局部特征具有平移不变性，这意味着对于图像的不同位置，相同的特征可以共享相同的权重。权值共享的一个典型示例是CNN中的卷积层，其中卷积核的参数被共享，这允许网络在整个输入上检测相同的特征。权值共享是一种神经网络中的技术，它可以在模型中的不同位置共享相同的权重参数，从而减少模型参数的数量并改善模型的泛化能力。
如何理解卷积神经网络中的权值共享
It’s All Uphill From Here
03-14 5067
权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构，就是下面这个： 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。 其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如...
深度学习（十五）卷积神经网络CNN（4）---权值共享
QuinnHanz的博客
06-03 1万+
作用：大大减少网络训练参数的同时，还可以实现并行训练。 原理：所谓权值共享就是说给定一张输入图片，用一个卷积核来卷积这张图，卷积核里的值叫做权重，这张图的每个位置是被同一个卷积核扫的，即卷积的时候所用的权重是一样的。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个3*3*1的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改...
【模型解读】从“局部连接”回到“全连接”的神经网络
hacker_long的专栏
10-06 857
09这是深度学习模型解读第9篇，本篇我们简单介绍非局部神经网络。言有三毕业于中国科学院，计算机视觉方向从业者，有三工作室等创始人作者 | 言有三（微信号：Longlong...
神经网络 深度神经网络,深度神经网络进展情况
super67269的博客
08-25 1052
这两个概念实际上是互相交叉的，例如，卷积神经网络（Convolutionalneuralnetworks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（DeepBeliefNets，简称DBNs）就是一种无监督学习下的机器学习模型。深度学习已经深入各个领域无人车，智能回答，智能翻译，天气预报，股票预测，人脸比对，声纹比对，等其他许多有趣的应用，比如智能插画，自动作诗，自动写作文，等都可以通过深度学习来完成深度神经网络目前有哪些成功的应用。因此，深度学习仍需解决以上问题。
卷积核权重共享、局部感知、多核、平移不变性、筛选器、可学习性
weixin_43960370的博客
04-27 500
具体来说，卷积神经网络中的每个卷积层都包含了多个卷积核，每个卷积核都可以看做是一个滤波器，用于检测输入图像中的某种特定的特征。例如，在图像识别任务中，第一层卷积可能使用一些水平和垂直的边缘检测器，而后面的卷积层可能会使用更复杂的卷积核来检测纹理、局部结构等更高级的特征。综上所述，卷积运算具有局部感知性、参数共享、多核性、筛选器、不变性和可学习性等特征，这些特征使得卷积成为一种非常有用和高效的特征提取方式，应用广泛于计算机视觉、图像识别、自然语言处理等领域。
卷积神经网络中的参数共享/权重复制
deephub
07-23 1万+
参数共享或权重复制是深度学习中经常被忽略的领域。但是了解这个简单的概念有助于更广泛地理解卷积神经网络的内部。 卷积神经网络（cnn）能够使那些通过网络馈送的图像在进行仿射变换时具有不变性。 这个特点提供了识别偏移图案、识别倾斜或轻微扭曲的图像的能力。 仿射不变性的这些特征是由于CNN架构的三个主要属性而引入的。 局部感受领域 权值共享（参数共享） 空间子采样 在本文中，我们将探索权值共享，并了解它们的用途以及它们在CNN架构中的优势。 本文针对从事机器学习或更具体地说是深度学习的各个层次的
CNN中的卷积操作与参数共享
源仔
12-27 5940
卷积神经网络（Convolutional Neural Networl, CNN）的两大核心思想： 局部连接（Local Connectivity） 参数共享（Parameter Sharing）         两者共同的一个关键作用就是减少模型的参数量，使运算更加’简洁、高效’，能够运行在超大规模数据集上。 （一）局部连接与卷积 1.1图像的局部相关      &nbsp
卷积神经网络（CNN）特点之局部连接
qq_42212501的博客
12-04 5119
卷积神经网络（Convolutional Neural Network,CNN）具有四个特点：局部连接、权值共享、池化操作及多层结构。其局部连接是相对于多层感知机（Multilayer Perceptron,MLP）的全连接特点说的。所以要介绍局部连接，我们首先要先提一下多层感知机，之后再引入CNN局部连接的原理，及具体表现。多层感知机（Multilayer Perceptron,MLP）是由输入层、隐含层（一层或多层）及输出层构成的神经网络模型，可以解决单层感知器不能解决的线性不可分问题。下面是含有2个隐
cnn中的局部链接和权值共享
Jiashilin
09-27 2544
CNN中非常有特点的地方就在于它的局部连接和权值共享， 通过卷积操作实现局部连接，这个局部区域的大小就是滤波器filter，避免了全连接中参数过多造成无法计算的情况， 再通过参数共享来缩减实际参数的数量，为实现多层网络提供了可能。 卷积操作 在CNN中是利用卷积层进行特征提取的，图像的三个通道R(red)、G(green)、B(blue)，分别用不同的卷积核来进行卷积操作，说起卷积核这让我想...
卷积神经网络局部连接
最新发布
11-22
卷积神经网络（CNN）采用局部连接和权值共享的方式进行局部特征提取。局部连接是指只针对目标所在局部区域进行观看、分析，而不是全局连接。这种方式可以减少计算量，提高网络的计算效率。权值共享是指在同一层的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值