NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）

最新推荐文章于 2024-09-28 19:05:03 发布
最新推荐文章于 2024-09-28 19:05:03 发布
阅读量730 收藏
点赞数 1
文章标签： cnn 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63172447/article/details/127604063
版权

目录

习题5-2 证明宽卷积具有交换性,即公式(5.13)

习题5-3 分析卷积神经网络中用1×1的卷积核的作用

1 跨通道的特征整合

2 降维/升维

3 加非线性

4 跨通道信息交互（channal 的变换）

5 减少计算量

6 1x1卷积核应用

Inception

5-4对于一个输入为100×100×256的特征映射组，使用3×3的卷积核，输出为100×100×256的特征映射组的卷积层，求其时间和空间复杂度。如果引入一个1×1的卷积核，先得到100×100×64的特征映射，再进行3×3的卷积，得到100×100×256的特征映射组，求其时间和空间复杂度。 

5-7忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播是一种转置关系。 

推导CNN反向传播算法 

2、已知卷积层的误差，反向推导上一隐藏层的误差

3、已知卷积层的误差，推导该层的W,b的梯度

习题5-2 证明宽卷积具有交换性,即公式(5.13)

 证明：
首先给定一个二维图像：和一个二维卷积核W\in \mathbb{R}^{U\times V}
因为要对图像X进行卷积，但是上面定义中提到了是宽卷积，所以先对他进行填充，两端各补U-1和V-1个零，得到全填充图像X\in \mathbb{R}^{(M+2U-2)\times (N+2V-2)}

为了方便我们先设一下

W=\begin{pmatrix} a_1&b_1\\ c_1&d_1\\ \end{pmatrix}

和

X=\begin{pmatrix} a_2&b_2&c_2\\ d_2&e_2&f_2\\ g_2&h_2&i_2\\ \end{pmatrix}

因为我们要证明交换性，所以要对W也填充，就是W两端各补M-1和N-1个零，得到全填充图像

W\in \mathbb{R}^{(U+2M-1)\times (V+2N-1)}

从我们设的X和W很容易可以看出来U=N=2，M=N=3。
那么填充完的

\widetilde{W}=\begin{pmatrix} 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ 0&0&a_1&b_1&0&0\\ 0&0&c_1&d_1&0&0\\ 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ \end{pmatrix}

\widetilde{X}=\begin{pmatrix} 0&0&0&0&0\\ 0&a_2&b_2&c_2&0\\ 0&d_2&e_2&f_2&0\\ 0&g_2&h_2&i_2&0\\ 0&0&0&0&0\\ \end{pmatrix}
然后把W和X旋转180°

 rot180(W)=\begin{pmatrix} d_1&c_1\\ b_1&a_1\\ \end{pmatrix}

rot180(X)=\begin{pmatrix} i_2&h_2&g_2\\ f_2&e_2&d_2\\ c_2&b_2&a_2\\ \end{pmatrix} 
然后就方便计算

rot180(W)\otimes \widetilde{X}=\begin{pmatrix} d_1&c_1\\ b_1&a_1\\ \end{pmatrix}\otimes \begin{pmatrix} 0&0&0&0&0\\ 0&a_2&b_2&c_2&0\\ 0&d_2&e_2&f_2&0\\ 0&g_2&h_2&i_2&0\\ 0&0&0&0&0\\ \end{pmatrix}=

\begin{pmatrix} a_1a_2&b_1a_2+a_1b_2&b_1b_2+a_1c_2&b_1c_2\\ c_1a_2+a_1d_2&d_1a_2+c_1b_2+b_1d_2+a_1e_2&d_1b_2+c_1c_2+b_1e_2+a_1f_2&d_1c_2+b_1f_2\\ c_1d_2+a_1g_2&d_1d_2+c_1e_2+b_1g_2+a_1h_2&d_1e_2+c_1f_2+b_1h_2+a_1i_2&d_1f_2+b_1i_2\\ c_1g_2&d_1g_2+c_1h_2&d_1h_2+c_1i_2&d_1i_2 \end{pmatrix}

 rot180(X)\otimes \widetilde{W}=\begin{pmatrix} i_2&h_2&g_2\\ f_2&e_2&d_2\\ c_2&b_2&a_2\\ \end{pmatrix}\otimes \begin{pmatrix} 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ 0&0&a_1&b_1&0&0\\ 0&0&c_1&d_1&0&0\\ 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ \end{pmatrix}=

 

最低0.47元/天 解锁文章
Sun.02
关注
一文读懂卷积神经网络中的1x1卷积核
阿木寺的博客
07-18 3万+
前言 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（chan...
卷积核为1的一维卷积，等价于全连接，个人理解
php_thebest_language的博客
02-28 1346
卷积核为1的卷积操作，等价于全连接的个人理解
1X1卷积核到底有什么作用
热门推荐
wonengguwozai的博客
06-10 1万+
1*1的卷积核在NIN、Googlenet中被广泛使用，但其到底有什么作用也是一直困扰的问题，这里总结和归纳下在网上查到的自认为很合理的一些答案，包括1）跨通道的特征整合2）特征通道的升维和降维  3）减少卷积核参数（简化模型） 部分转载自caffe.cn 作用：1. 实现跨通道的交互和信息整合2. 进行卷积核通道数的降维和升维3.对于单通道feature map 用单核卷积即为乘以一个参数，...
1*1 的卷积核
weixin_30909575的博客
07-20 130
1、降维（ dimension reductionality ）。1*1 的卷积核是对每个像素点，在不同的channels 进行线性组合（信息组合），调控depth。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。 2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非...
kernel_size为1的卷积核与全连接层的关系
todoooooo的博客
06-03 6868
看到有文章说kernel_size为1的卷积相当于全连接层的运算，这里简单地使用1维的卷积核证明一下 输入的数据用X∈R(d,n)X \in \mathbb{R}^{(d,n)}X∈R(d,n)表示，共有nnn个数据，每个数据是ddd维。 全连接层用L∈R(d,d)L \in \mathbb{R}^{(d,d)}L∈R(d,d)表示，一维的卷积用C∈R(d,d)C \in \mathbb{R}^{(d,d)}C∈R(d,d)表示，即卷积的in_channel=d, out_channel=d，CCC的行向量
NNDL 作业7：第五章课后题（1×1卷积核|CNN BP）
m0_51236133的博客
10-30 162
作业
1*1卷积核实现降维
weixin_44293973的博客
09-07 2141
比如，某个卷积层的输入有256个特征图，通过64个1*1的卷积核，输出的特征图即为64个。的作用延伸开来说的话挺多，但是其实质是：通过N个1*1的卷积核，能够将M张图像转化为N张图像。3.在XCeption模组中加入1*1卷积，主要负责处理通道间的混合。当然，除此之外还有很多用法，但是万变不离其宗，掌握了核心才能发散。模组中加入1*1卷积，能够保证两边的通道数核图像尺寸一致；1.通过卷积核为1*1的卷积层可以增加网络的。能力，提高网络的表达能力；
1*1的卷积核的作用
Chaolei3的博客
02-25 3168
参考：https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit https://iamaaditya.github.io/2016/03/one-by-one-convolution/ http://blog.csdn.net/yiliang_/article/details/60468655 http://blog.csdn.n...
神经网络中的1x1卷积核
遥远的她
02-24 2158
本文参考自CVer公众号的文章"一文读懂神经网络中的1x1卷积核"，但我在读他的文章时觉得作者对1x1卷积核的理解或阐述有失偏颇，特此记文来发表我的看法，文中图片都摘自CVer的博文。 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念。 1. 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能...
1*1大小的卷积核的作用与功能
weixin_48727047的博客
02-26 804
1*1大小的卷积核的作用与功能
玩转卷积
Touch_Dream的博客
08-26 2371
卷积核十大玩法1、AlexNet中国使用到了一些非常大的卷积核，比如11*11,5*5卷积核，之前人们的观念认为receptive filed感受野越大，看到的图片信息越多，因此获得的特征越好。但另外一个方面大的卷积核会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低，于是Inception网络中，就利用了两个3*3来代替一个5*5卷积核,参数量上大大的降低了。 2、后来另外一些人开始思考
卷积核大小为（1，1）时，卷积的结果和输入矩阵和权重矩阵逐元素相乘结果相等。
qq_44815135的博客
06-12 496
【代码】卷积核大小为（1，1）时，卷积的结果和输入矩阵和权重矩阵逐元素相乘结果相等。
1 * 1的卷积核（准备开始写）
11-12 302
原文：https://blog.csdn.net/chaipp0607/article/details/60868689 原文：https://blog.csdn.net/briblue/article/details/83151475 1. google inception 里的1*1 conv kernel 用途 都有1*1卷积核的出现，那么它到底是做什么的？我们应该如何理...
CNN中1*1 卷积核
北漂人家
10-15 884
卷积神经网络中卷积核的作用是提取图像更高维的特征，一个卷积核代表一种特征提取方式，对应产生一个特征图，卷积核的尺寸对应感受野的大小。经典的卷积示意图如下： 卷积核的大小一般是（2n+1）*(2n+1)的奇数乘奇数大小（n>=1），最常用的有3*3,5*5,7*7的。主要原因有两点： ...
1*1的卷积核如何实现降维/升维？
S0ybean的博客
09-25 1553
简单举例解释1*1卷积核降维/升维原理
1×1卷积核【super star 卷积核】
xinxin的博客
09-18 503
我们先来给出1×1卷积的一般作用，如下所示：•跨通道的特征整合•特征通道的升维与降维•减少权重参数（卷积核参数）简化模型。
1*1卷积核
TRI_SEVEN的博客
08-22 191
文章目录1 x 1卷积核参考 1 x 1卷积核 如果卷积的输出输入都只是一个平面，那么1x1卷积没有什么意义，它完全不考虑像素与周边其他像素关系。但是卷积的输出输入是长方体，所以1x1卷积实际上是对每个像素点，在不同的channels上的线性组合，且保留了图片的原有平面结构，调控depth，从而完成升维或者降维的功能。 如下图，如果选择2个filters的1x1卷积层，那么数据体就从原来的depth=3降到了2.若用4个filters，则起到了升维作用。 参考 注意看其参考文献 ...
1×1卷积核
最新发布
weixin_55282718的博客
09-28 315
我想记录一下关于1×1卷积核的作用，通过学习和网上查阅资料我总结1×1卷积核的作用主要有如下三点：1.跨通道的特征整合2.特征通道的升维和降维3.减少卷积核参数（简化模型）简单说明一下它们的基本原理吧。
深度学习入门：神经网络与Michael Nielsen的NNDL中文版详解
在第3章，作者关注改进神经网络的学习方法，提出了对抗过度拟合的问题，包括规范化技术。规范化有助于降低模型对训练数据的过拟合风险，作者介绍了规范化的方法及其背后原理，同时提及了其他可能的技术手段。 这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值