神经网络知识点杂记

【2019.10.10】
Question: 使用较小尺寸的滤波器有助于保留输入数据的原始像素信息???
Explains:
相比AlexNet在第一层使用的11X11滤波器，ZF Net使用7X7的滤波器及较小步长。如此改进的深层次原因在于，在第一卷积层中使用较小尺寸的滤波器有助于保留输入数据的原始像素信息。事实证明，在第一卷积层中使用11X11滤波器会忽略大量相关信息。
极端情况
9X9的image与1X1的值为1的卷积核进行卷积，得到的是图像本身；
9X9的image与9X9的值为1的卷积核进行卷积，得到的是一个整数

Question: 小卷积核的叠加作用???
Explains:
在VGGNet中，仅使用3X3滤波器，这与之前的AlexNet的首层11X11滤波器、ZF Net的7X7滤波器都大不相同。使用小卷积核（滤波器）能够有效减少网络中的大量参数， 并且多个小卷积核叠加与大卷积核等效： 两个 3X3 的卷积层结合起来能够生成一个有效的 5X5 感知区，3个3X3卷积层并排起来相当于一个有效的7X7感知区。

• 15X15的image
  (1)进行一次3X3卷积，步长为1，15-3+1=13；
  进行第二次3X3卷积，步长为1，13-3+1=11；
  进行第三次3X3卷积，步长为1，11-3+1=9
  (2)进行一次5X5卷积，步长为1，15-5+1=11
  (3)进行一次7X7卷积，步长为1，15-7+1=9
  可以看出两次3X3与一次5X5等效，三次3X3与一次7X7等效

【2019.10.12】
Question: 卷积和滤波的区别???
Explains:
详情参见博客
https://blog.csdn.net/hellocsz/article/details/101177489
https://www.cnblogs.com/xiaojianliu/p/9075872.html

【2019.10.20】
Question: 多通道图像卷积
Explains:

如图，输入有3个通道，同时有2个卷积核。对于每个卷积核，先在输入3个通道分别作卷积，再将3个通道结果加起来得到卷积输出。所以对于某个卷积层，无论输入图像有多少个通道，输出图像通道数总是等于卷积核数量！
对多通道图像做1x1卷积，其实就是将输入图像于每个通道乘以卷积系数后加在一起，即相当于把原图像中本来各个独立的通道“联通”在了一起