【23-24 秋学期】NNDL 作业8 卷积 导数 反向传播

 

习题5-2 证明宽卷积具有交换性， 即公式(5.13)．

习题5-4 对于一个输入为100 × 100 × 256的特征映射组， 使用3 × 3的卷积核， 输出为100 × 100 × 256的特征映射组的卷积层， 求其时间和空间复杂度． 如果引入一个1 × 1卷积核， 先得到100 × 100 × 64的特征映射， 再进行3 × 3的卷积， 得到100 × 100 × 256的特征映射组， 求其时间和空间复杂度．

习题5-5 对于一个二维卷积， 输入为3 × 3， 卷积核大小为2 × 2， 试将卷积操作重写为仿射变换的形式． 参见公式(5.45) .

附加题 阅读 “5.3.1 卷积神经网络的反向传播算法”，举例说明推导过程.

习题 5-7 忽略激活函数， 分析卷积网络中卷积层的前向计算和反向传播（公式(5.39)） 是一种转置关系．

习题5-8 在空洞卷积中， 当卷积核大小为𝐾， 膨胀率为𝐷时， 如何设置零填充𝑃的值以使得卷积为等宽卷积 .

5-2：证明宽卷积具有交换性， 即公式(5.13)．

参考老师ppt:

 

 

5-4：对于一个输入为100 × 100 × 256的特征映射组， 使用3 × 3的卷积核， 输出为100 × 100 × 256的特征映射组的卷积层， 求其时间和空间复杂度． 如果引入一个1 × 1卷积核， 先得到100 × 100 × 64的特征映射， 再进行3 × 3的卷积， 得到100 × 100 × 256的特征映射组， 求其时间和空间复杂度．

1.时间复杂度：

   空间复杂度：100*100*256=2，560，000

2.时间复杂度：

空间复杂度：64*100*100+256*100*100=3，200，000

       从这一题可以看出，加入1*1的卷积核会大大减少计算量(时间复杂度)，但是从计算结果也可以看出空间复杂度变大了，有点空间换时间的意思。

5-5：对于一个二维卷积， 输入为3 × 3， 卷积核大小为2 × 2， 试将卷积操作重写为仿射变换的形式． 参见公式(5.45) .
       首先，将3 × 3的输入矩阵表示为一个9维的向量，然后将2 × 2的卷积核表示为一个4维的向量。接下来，我们可以将卷积操作看作是一个仿射变换，即将输入向量通过一个矩阵乘法映射到输出向量。假设输入向量为 x，卷积核为 W，输出向量为 y，则卷积操作可以表示为： [ y = Wx ]（W是一个特定的矩阵，它可以将输入向量 x 转换为输出向量 y）例：

5-7：忽略激活函数， 分析卷积网络中卷积层的前向计算和反向传播（公式(5.39)） 是一种转置关系．

 5-8：在空洞卷积中， 当卷积核大小为𝐾， 膨胀率为𝐷时， 如何设置零填充𝑃的值以使得卷积为等宽卷积 .

空洞卷积（Atrous Convolution）又名膨胀卷积（Dilated Convolution）。假设卷积层的输入神经元个数为 𝑀 ，卷积大小为 𝐾 ，步长为 𝑆 ，在输入两端各填补 𝑃 个 0，那么该卷积层的神输出经元数量为 ：(𝑀 − 𝐾 + 2𝑃)/𝑆 + 1

根据等宽卷积：
(M - K' + 2P)/S + 1 = M，其中S= 1，
K' = K + (K-1)(D-1)，
求得 ：
P = (K-1)D/2

附加题 阅读 “5.3.1 卷积神经网络的反向传播算法”，举例说明推导过程.

1. 全连接层

与深度神经网络DNN的反向传播算法一致，辅助变量：

进而求得参数W，b的梯度：

2. 池化层 

设池化层的输入为,则输出为，则有：

则：

其中unsample指在反向传播时，把矩阵的大小还原成池化之前的大小。

3. 卷积层 

卷积层的前向传播公式：

所以

当stride=1时。

心得体会：

       对于宽卷积具有交换性有了深刻的认识，对于1×1卷积核的作用的作用有了补充，原本来并不知道1×1卷积核具有增加模型非线性表达能力，掌握了时间复杂度和空间复杂度的计算过程，原来只知道卷积网络中卷积层的前向计算和反向传播是一种转置关系，但并不知道其原理，经过这次的作业，大致上晓得了。