卷积神经网络中为什么会有权值共享这个操作？

最新推荐文章于 2024-08-14 18:30:34 发布
最新推荐文章于 2024-08-14 18:30:34 发布
阅读量1.9k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36415932/article/details/82864621
版权

    今天看LeNet论文，其中提到这样一句话：In convolutional networks,  shift invariance is automatically obtained by forcing
the replication of weight configurations across space.意思是，卷积网络中，移位不变性是通过强制在空间上复制权重配置来自动获得的。所以权值共享是不是为了保证输入图像的信息具有位移不变性？

JanzeeLiu
关注
卷积参数共享机制
Jiashilin
04-19 4792
如图所示:10个shape(5,5)的卷积核,每个卷积核在原图中对应一个参数矩阵,大小为5*5,. 1. 如果不共享权值的话,将得到,5*5*3*32*32*10个参数, 2. 如果共享参数的话将有5*5*3*10个参数 ...
卷积神经网络CNN---权值共享
m0_37957160的博客
03-12 1万+
1、权值共享的由来： 权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构，就是下面这个： 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。 2、什么是权值共享？ 所谓权值共享就是说给定一张输入图片，用一个卷积核来卷积这张图，卷积核里的值叫做权重，这张图的每个位置是被同一个卷积核扫的，即卷积的
如何理解卷积神经网络中的权值共享
zhangxu
06-23 5万+
权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构，就是下面这个： 虽然现在大多数的说法是2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是权值共享。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个
Python MXNet库：高效的深度学习框架
最新发布
GitHub_miao的博客
08-14 1110
更多Python学习内容：ipengtao.com随着深度学习在人工智能领域的广泛应用，选择一个合适的深度学习框架至关重要。Python的MXNet库提供了一个高效且灵活的深度学习框架，支持多种语言和硬件平台。MXNet不仅适用于研究型项目，还可以应用于大规模生产环境。本文将详细介绍MXNet库的功能、安装与配置、基本和高级用法，以及如何在实际项目中应用它。MXNet库简介MXNet是一个开源的深...
参数共享机制soft-share and hard-share【机器学习】
月下花弄影
05-20 3475
先讲hard-share. 言外之意就是来硬的。实际上两个参数的hard-share就退变成了一个参数。在实际计算过程中，我们就可以使用相同的参数进行计算。参数更新后也保持相同。 再说soft-share。实际上这才是真的两个不同参数，但是我们尽量保证两个参数很接近。为了使两个参数很接近，我们通常使用损失函数来做。如下图，其中θt\theta^tθt 和 θt′\theta^{t'}θt′就是我们想要共享的参数。 ...
卷积神经网络为什么具有平移不变性？
baicaiBC3的博客
01-06 1006
概述 在读计算机视觉的相关论文时，经常会看到平移不变性这个词，本文将介绍卷积神经网络中的平移不变性是什么，以及为什么具有平移不变性。 什么是平移不变性？ 不变性 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。 这对图像分类来说是一种很好的特性，因为我们希望图像中目标无论是被平移，被旋转，还是被缩放，甚至是不同的光照条件、视角，都可以被成功地识别出来。 所以上面的描述就对应着各种不变性： 平移不变性：Translation Invariance 旋转/视角不变性：Ratation/
神经网络中的权值共享是什么？
CSDN 精品推荐
08-08 1815
权值共享通常在卷积神经网络（Convolutional Neural Networks，CNNs）中使用，因为CNNs在图像处理等任务中有很强的表现，并且图像中的局部特征具有平移不变性，这意味着对于图像的不同位置，相同的特征可以共享相同的权重。权值共享的一个典型示例是CNN中的卷积层，其中卷积核的参数被共享，这允许网络在整个输入上检测相同的特征。权值共享是一种神经网络中的技术，它可以在模型中的不同位置共享相同的权重参数，从而减少模型参数的数量并改善模型的泛化能力。
卷积神经网络共享参数,卷积神经网络理论基础
ynca67269的博客
08-29 2254
卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。卷积神经网络的连接性：卷积神经网络中卷积层间的连接被称为稀疏连接（sparseconnection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。...
神经网络中的权值共享
sdw8855的博客
08-15 1466
权值共享的卷积操作有效解决了这个问题，无论图像的尺寸是多大，都可以选择固定尺寸的卷积核，LeNet中最大的卷积核只有5*5*1，而在AlexNet中最大的卷积核也不过是11*11*3。2012年的AlexNet网络是深度学习的开端，但是CNN的开端最早其实可以追溯到LeNet5模型，它的几个特性在2010年初的卷积神经网络研究中被广泛的使用——其中一个就是。权值共享后意味着每一个卷积核只能提取到一种特征，为了增加CNN的表达能力，当然需要多个核，不幸的是，它是一个Hyper-Parameter。...
卷积计算公式 神经网络,卷积神经网络权值更新
神经网络爱好者
08-27 415
假设输出层每个像素只与输入图片上F*F的一个小方块有连接，也就是说输出层的这个像素值，只是通过原图的这个F*F的小方形中的像素值计算而来，那么对于输出层的每个像素，需要的参数个数就从原来的W*H减小到了F*F。表征函数f与经过翻转和平移的g的重叠部分的累积，如果将参加卷积的一个函数看作区间的指示函数，卷积还可以被看作是滑动平均的推广。----------------------下面是原答案------------------------从广义上说深度学习的网络结构也是多层神经网络的一种。...
对卷积神经网络中权值共享的理解
向阳争渡
11-06 9171
我的理解是： 在卷积神经网络中，卷积核内的一个卷积核(滤波器)用于提取一个特征(输入数据的一个维度)，而输入数据具有多个特征(维度)的话，就会有很多个卷积核，那么在这一层的卷积层中就会有“参数爆炸”的情况。同时，一层中每个卷积核提取特征特定的特征，忽略了数据的局部相关性。 而参数共享的作用在于，每个特征具有平移不变性，同一个特征可以出现在出现在不同数据的不同位置，可以用同一个卷积核来提取这一特征。...
卷积神经网络中的权值共享
简简单单
03-04 3898
一、起源 权值共享这个词最开始其实是由LeNet5模型提出来，在1998年，LeCun发布了LeNet网络架构 其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个3*3*1的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数。说的再直白一些，就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片（当然CNN中每一层不会只有一...
理解卷积神经网络中的权值共享
lovely_yoshino的博客
07-04 1万+
简单从共享的角度来说：权重共享即filter的值共享 卷积神经网络两大核心思想： 1.网络局部连接（Local Connectivity） 2.卷积核参数共享（Parameter Sharing） 两者的一个关键作用就是减少参数数量，使运算变得简洁、高效，能够在超大规模数据集上运算。 下面来用最直观的图示，来阐明两者的作用。 CNN的正确打开方式，如下所示 概括为：一个 的卷积核在图像上扫描，进行特征提取。通常， ， 的卷积核较为常用，如果channels为 [公式] 的话（32,64是较为常用的通道
卷积神经网络的局部连接和权值共享
热门推荐
dulingwen的博客
10-17 6万+
卷积神经网络（CNN）是一种目前计算机视觉领域广泛使用的深度学习网络，与传统的人工神经网络结构不同，它包含有非常特殊的卷积层和降采样层（有些文章和书籍里又称之为池化层、汇合层），其中卷积层和前一层采用局部连接和权值共享的方式进行连接，从而大大降低了参数数量。降采样层可以大幅降低输入维度，从而降低网络复杂度，使网络具有更高的鲁棒性，同时能够有效的防止过拟合。由于以上设计，卷积网络主要用...
深度学习知识十一：卷积神经网络卷积层和池化层学习、权值共享！！网络的Bflops、跟卷积网络大小的输出计算
yangdeshun888的博客
05-03 1万+
链接地址：卷积神经网络_（1）卷积层和池化层学习 卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC (1)卷积层：用它来进行特征提取，如下： 输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野)，这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输...
卷积神经网络（cnn）参数（权重）共享
lijiwu666的博客
07-22 7542
在学习cnn中一直被这个参数共享所迷惑，经过查阅资料询问同学才明白原来这么简单，可能是我当时脑子锈到了 卷积核在进行计算的时候，如上图，滤波器中的参数是固定不变的，按照设定好的步数移动扫面完全部位置，参数（权重）共享就是说被扫描的像素全都共享这个滤波器中的权重进行计算。说白了就是所有被扫描的像素每一次都是用这个滤波器进行计算。就是这么简单的问题让我想了很久，我淦。 ...
BAT机器学习面试1000题系列（第150~279题）
leadai的博客
01-08 5万+
长文~可先收藏再看哟~150、在感知机中（Perceptron）的任务顺序是什么？深度学习 DL基础 易1 随机初始化感知机的权重2 去到数据集的下一批（batch）3 如果预测值和输出不一致，则调整权重4 对一个输入样本，计算输出值　　A. 1, 2, 3, 4　　B. 4, 3, 2, 1　　C. 3, 1, 2, 4　　D. 1, 4, 3, 2　　答案：（D）151、假设你需要调整参数来最
卷积神经网络权值共享
03-19
卷积神经网络（Convolutional Neural Network，CNN）是一种常用于图像处理和计算机视觉任务的深度学习模型。权值共享是CNN中的一个重要概念，它可以显著减少网络参数的数量，并提高模型的效率和泛化能力。 在CNN中，卷积层是核心组件之一。卷积层通过使用一组可学习的滤波器（也称为卷积核或权重）对输入数据进行卷积操作，从而提取出输入数据的特征。权值共享指的是在卷积层中，每个滤波器的权重在整个输入数据上是共享的，即对于输入数据的不同位置，使用相同的权重进行卷积操作。 通过权值共享，CNN可以有效地捕捉到输入数据中的局部特征，并且可以在不同位置上共享这些特征的表示。这种共享权值的方式使得CNN具有平移不变性，即无论特征出现在图像的哪个位置，都能够被准确地识别出来。此外，权值共享还可以大大减少网络参数的数量，降低了模型的复杂度和计算成本。 总结一下，卷积神经网络中的权值共享是指在卷积层中，每个滤波器的权重在整个输入数据上是共享的。这种共享权值的方式使得CNN能够有效地捕捉到输入数据的局部特征，并具有平移不变性和较低的参数数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值