NNDL 作业8 卷积导数反向传播

szf03

于 2023-11-27 20:51:42 发布

阅读量1k

点赞数 22

文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/m0_62584837/article/details/134508083

版权

习题5-2 证明宽卷积具有交换性，即公式(5.13)．

习题5-4 对于一个输入为100 × 100 × 256的特征映射组，使用3 × 3的卷积核，输出为100 × 100 × 256的特征映射组的卷积层，求其时间和空间复杂度．如果引入一个1 × 1卷积核，先得到100 × 100 × 64的特征映射，再进行3 × 3的卷积，得到100 × 100 × 256的特征映射组，求其时间和空间复杂度．

习题5-5 对于一个二维卷积，输入为3 × 3，卷积核大小为2 × 2，试将卷积操作重写为仿射变换的形式．参见公式(5.45) .

附加题阅读 “5.3.1 卷积神经网络的反向传播算法”，举例说明推导过程.

习题 5-7 忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播（公式(5.39)）是一种转置关系．

习题5-8 在空洞卷积中，当卷积核大小为𝐾，膨胀率为𝐷时，如何设置零填充𝑃的值以使得卷积为等宽卷积 .

习题5-2 证明宽卷积具有交换性，即公式(5.13)．

什么是宽卷积？

一种卷积神经网络的变体,不同的是添加更多的通道数，增加模型u强特征表达能力。

当输入信息和卷积核有固定长度，宽卷积仍然具有交换性

证明公式 $rot180(W)\widetilde{\otimes } X=rot180(X)\widetilde{\otimes }W$

rot是指旋转180度。

$\widetilde{\otimes }$ 是指宽卷积运算

对于二维图像X $\epsilon$ $R^{M*N}$ X $\epsilon$ RM*N和卷积核W $\epsilon$ $R^{m*n}$ W $\epsilon$ Rm*n，对图像X进行零填充，两端各补上m-1和n-1个0，得到全填充的图像，宽卷积定义为 $W\widetilde{\otimes }X=X\widetilde{\otimes }W W\otimes \widetilde{X}=X\otimes \widetilde{W}$

证明：

取二维图像X $\epsilon R^{M*N}$ ，二维卷积核W $\epsilon$ $R^{m*n}$

习题5-4 对于一个输入为100 × 100 × 256的特征映射组，使用3 × 3的卷积核，输出为100 × 100 × 256的特征映射组的卷积层，求其时间和空间复杂度．如果引入一个1 × 1卷积核，先得到100 × 100 × 64的特征映射，再进行3 × 3的卷积，得到100 × 100 × 256的特征映射组，求其时间和空间复杂度．

3*3

时间复杂度：O( $M^{2}*K^{2}*C_{in}*C_{out}$ )=100*100*3*3*256*256=5898240000

空间复杂度：O=100*100*256=2560000

1*1

$\small M$ =100; $\small K_{1}$ =1; $\small K_{2}$ =3; $\small C_{in1}$ =256; $\small C_{out1}$ =64; $\small C_{in2}$ =64; $\small C_{out2}$ =256

时间复杂度：O=100×100×1×1×256×64 + 100×100×3×3×64×256 = 1638400000

空间复杂度：O=100×100×64 + 100×100×256 = 3200000

习题5-5 对于一个二维卷积，输入为3 × 3，卷积核大小为2 × 2，试将卷积操作重写为仿射变换的形式．参见公式(5.45) .

什么是仿射变换？

一种二维坐标到二维坐标之间的线性变换；它保持了二维图形的“平直性”（直线经过变换后依然是直线）和“平行性”（二维图形之间相对位置保持不变，平行线依然是平行线，且直线上点的位置关系不变）。仿射变换可以写为如下形式。

$A=\begin{bmatrix} a_{00} &a_{01} \\ a_{10} & a_{11} \end{bmatrix}$ $B=\begin{bmatrix} b_{00}\\ b_{10} \end{bmatrix}$ $M=\begin{bmatrix} A & B \end{bmatrix}$ = $\begin{bmatrix} a_{00} &a_{01} &b_{00} \\ a_{10} & a_{11} & b_{10} \end{bmatrix}$

令输入为 I，输出为 O，卷积核为 K，步长为 s，填充大小为 p，偏移量为 d。则仿射变换可以表示为：

$O_{i,j}=\sum_{m=0}^{1}\sum_{n=0}^{1}K_{m,n}I_{i+ms+d,j+ns+d}$

举例