NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）

最新推荐文章于 2024-09-18 22:18:21 发布

Sun.02

最新推荐文章于 2024-09-18 22:18:21 发布

阅读量679

点赞数 1

文章标签： cnn 深度学习人工智能

本文链接：https://blog.csdn.net/m0_63172447/article/details/127604063

版权

习题5-2 证明宽卷积具有交换性,即公式(5.13)

习题5-3 分析卷积神经网络中用1×1的卷积核的作用

1 跨通道的特征整合

2 降维/升维

3 加非线性

4 跨通道信息交互（channal 的变换）

5 减少计算量

6 1x1卷积核应用

Inception

5-4对于一个输入为100×100×256的特征映射组，使用3×3的卷积核，输出为100×100×256的特征映射组的卷积层，求其时间和空间复杂度。如果引入一个1×1的卷积核，先得到100×100×64的特征映射，再进行3×3的卷积，得到100×100×256的特征映射组，求其时间和空间复杂度。

5-7忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播是一种转置关系。

推导CNN反向传播算法

2、已知卷积层的误差，反向推导上一隐藏层的误差

3、已知卷积层的误差，推导该层的W,b的梯度

习题5-2 证明宽卷积具有交换性,即公式(5.13)

证明：
首先给定一个二维图像：和一个二维卷积核 $W\in \mathbb{R}^{U\times V}$
因为要对图像X进行卷积，但是上面定义中提到了是宽卷积，所以先对他进行填充，两端各补U-1和V-1个零，得到全填充图像 $X\in \mathbb{R}^{(M+2U-2)\times (N+2V-2)}$

为了方便我们先设一下

$W=\begin{pmatrix} a_1&b_1\\ c_1&d_1\\ \end{pmatrix}$

和

$X=\begin{pmatrix} a_2&b_2&c_2\\ d_2&e_2&f_2\\ g_2&h_2&i_2\\ \end{pmatrix}$

因为我们要证明交换性，所以要对W也填充，就是W两端各补M-1和N-1个零，得到全填充图像

$W\in \mathbb{R}^{(U+2M-1)\times (V+2N-1)}$

从我们设的X和W很容易可以看出来U=N=2，M=N=3。
那么填充完的

$\widetilde{W}=\begin{pmatrix} 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ 0&0&a_1&b_1&0&0\\ 0&0&c_1&d_1&0&0\\ 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ \end{pmatrix}$

$\widetilde{X}=\begin{pmatrix} 0&0&0&0&0\\ 0&a_2&b_2&c_2&0\\ 0&d_2&e_2&f_2&0\\ 0&g_2&h_2&i_2&0\\ 0&0&0&0&0\\ \end{pmatrix}$
然后把W和X旋转180°

$rot180(W)=\begin{pmatrix} d_1&c_1\\ b_1&a_1\\ \end{pmatrix}$

$rot180(X)=\begin{pmatrix} i_2&h_2&g_2\\ f_2&e_2&d_2\\ c_2&b_2&a_2\\ \end{pmatrix}$
然后就方便计算

$rot180(W)\otimes \widetilde{X}=\begin{pmatrix} d_1&c_1\\ b_1&a_1\\ \end{pmatrix}\otimes \begin{pmatrix} 0&0&0&0&0\\ 0&a_2&b_2&c_2&0\\ 0&d_2&e_2&f_2&0\\ 0&g_2&h_2&i_2&0\\ 0&0&0&0&0\\ \end{pmatrix}=$

$\begin{pmatrix} a_1a_2&b_1a_2+a_1b_2&b_1b_2+a_1c_2&b_1c_2\\ c_1a_2+a_1d_2&d_1a_2+c_1b_2+b_1d_2+a_1e_2&d_1b_2+c_1c_2+b_1e_2+a_1f_2&d_1c_2+b_1f_2\\ c_1d_2+a_1g_2&d_1d_2+c_1e_2+b_1g_2+a_1h_2&d_1e_2+c_1f_2+b_1h_2+a_1i_2&d_1f_2+b_1i_2\\ c_1g_2&d_1g_2+c_1h_2&d_1h_2+c_1i_2&d_1i_2 \end{pmatrix}$

$rot180(X)\otimes \widetilde{W}=\begin{pmatrix} i_2&h_2&g_2\\ f_2&e_2&d_2\\ c_2&b_2&a_2\\ \end{pmatrix}\otimes \begin{pmatrix} 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ 0&0&a_1&b_1&0&0\\ 0&0&c_1&d_1&0&0\\ 0&0&0&0&0&0\\ 0&0&0&0&0&0\\ \end{pmatrix}=$