NNDL 作业7：第五章课后题（1×1 卷积核 | CNN BP）

目录

习题5-2 证明宽卷积具有交换性，即公式(5.13)。

习题5-3 分析卷积神经网络中用1x1的卷积核的作用。 

习题5-4 对于一个输入为100x100x256的特征映射组，使用3x3的卷积核，输出为100x100x256的特征映射组的卷积层，求其时间和空间复杂度。如果引入一个1x1卷积核，先得到100x100x64的特征映射，再进行3x3的卷积，得到100x100x256的特征映射组，求其时间和空间复杂度。

习题5-7 忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播(公式(5.39))是一种转置关系。

参考：

  

---

习题5-2 证明宽卷积具有交换性，即公式(5.13)。

 

习题5-3 分析卷积神经网络中用1x1的卷积核的作用。 

1、降维：比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。

2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励（ non-linear activation ），提升网络的表达能力；

3、升维（用最少的参数拓宽网络channal）：不仅在输入处有一个1*1卷积核，在输出处也有一个卷积核，3*3，64的卷积核的channel是64，只需添加一个1*1，256的卷积核，只用64*256个参数就能把网络channel从64拓宽四倍到256。

4、跨通道信息交互（channal 的变换）

例子：使用1*1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3*3，64channels的卷积核后面添加一个1*1，28channels的卷积核，就变成了3*3，28channels的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。

注意：只是在channel维度上做线性组合，W和H上是共享权值的sliding window
 

习题5-4 对于一个输入为100x100x256的特征映射组，使用3x3的卷积核，输出为100x100x256的特征映射组的卷积层，求其时间和空间复杂度。如果引入一个1x1卷积核，先得到100x100x64的特征映射，再进行3x3的卷积，得到100x100x256的特征映射组，求其时间和空间复杂度。

1、

=100;=3;=256 ;=256

时间复杂度：100×100×3×3×256×256 = 5898240000

空间复杂度：100×100×256 = 2560000

2、

=100;=1;=3;=256;=64;=64;=256

时间复杂度：100×100×1×1×256×64 + 100×100×3×3×64×256 = 1638400000

空间复杂度：100×100×64 + 100×100×256 = 3200000

习题5-7 忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播(公式(5.39))是一种转置关系。

参考：

卷积神经网络中用1*1 卷积有什么作用或者好处呢？_AI蜗牛车的博客-CSDN博客来自 | 知乎https://www.zhihu.com/question/56024942编辑 | AI有道本文仅作学术分享，若侵权，请联系后台删文处理卷积神经网络中用1*1 卷积有...https://blog.csdn.net/qq_33431368/article/details/116358631?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522166711496316782417028176%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=166711496316782417028176&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-116358631-null-null.142%5Ev62%5Epc_search_tree,201%5Ev3%5Eadd_ask,213%5Ev1%5Et3_control2&utm_term=%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E4%B8%AD%E7%94%A81x1%E7%9A%84%E5%8D%B7%E7%A7%AF%E6%A0%B8%E7%9A%84%E4%BD%9C%E7%94%A8&spm=1018.2226.3001.4187

(4条消息) HBU_David的博客_CSDN博客-Database,DeepLearning,Transact-SQL领域博主https://blog.csdn.net/qq_38975453?type=blog