NNDL 作业8 卷积 导数 反向传播

习题5-2 证明宽卷积具有交换性， 即公式(5.13)．

通过对比结果可以看出这两个相等,因此宽卷积具有交换性。
 

习题5-4 对于一个输入为100 × 100 × 256的特征映射组， 使用3 × 3的卷积核， 输出为100 × 100 × 256的特征映射组的卷积层， 求其时间和空间复杂度．

如果引入一个1 × 1卷积核， 先得到100 × 100 × 64的特征映射， 再进行3 × 3的卷积， 得到100 × 100 × 256的特征映射组， 求其时间和空间复杂度．

（1）

时间复杂度：

空间复杂度：

（2） 

时间复杂度：

时间复杂度：

习题5-5 对于一个二维卷积， 输入为3 × 3， 卷积核大小为2 × 2， 试将卷积操作重写为仿射变换的形式． 参见公式(5.45) .

     仿照输入为4 × 4， 卷积核大小为3 × 3                                                  

附加题 阅读 “5.3.1 卷积神经网络的反向传播算法”，举例说明推导过程.

已知池化层的,推导上一隐藏层的

　由于池化区域为2x2，矩阵变成

 假设我们之前在前向传播时记录的最大值位置分别是左上，右下，右上，左下，则转换后的矩阵为：

　如果是Average，则进行平均：转换后的矩阵为：

对于张量，

 已知卷积层的,推导上一隐藏层的

卷积层的前向传播公式：

在DNN中，我们知道和的递推关系为：

　　因此我们有：

已知卷积层的，推导该层的，的梯度　

注意到卷积层z和W,b的关系为：
 

因此我们有：

假设我们输入a是4x4的矩阵，卷积核是3x3的矩阵，输出z是2x2的矩阵,那么反向传播的z的梯度误差δ也是2x2的矩阵。

那么根据上面的式子，我们有：

最终我们可以一共得到9个式子。整理成矩阵形式后可得：

最后可得b的梯度：

习题 5-7 忽略激活函数， 分析卷积网络中卷积层的前向计算和反向传播（公式(5.39)） 是一种转置关系．

习题5-8 在空洞卷积中， 当卷积核大小为𝐾， 膨胀率为𝐷时， 如何设置零填充𝑃的值以使得卷积为等宽卷积 .

空洞卷积也叫扩张卷积或者膨胀卷积，简单来说就是在卷积核元素之间加入一些空格(零)来扩大卷积核的过程。

常规卷积:                                                                     空洞卷积：

 设空洞卷积输入为，输出为，步长为1

参考链接：

NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）_牛奶园雪梨的博客-CSDN博客

https://www.cnblogs.com/pinard/p/6494810.html

NNDL 作业8 卷积 导数 反向传播-CSDN博客