百面深度学习Day1

卷积基础知识

一、卷积基本操作

1、卷积的特性：局部连接，权值共享

2、卷积的操作：书中P06有一个详细的卷积运算过程的示例图，非常清晰。

如何理解局部连接和权值共享呢？

局部连接指的是相比于全连接层（每个输出都与输入相连接），输出层的每一个点都只与输入层的部分点连接，原因在于卷积核远小于特征图的尺寸。

权重共享指的是在卷积核滑窗的过程中，卷积核参数不变。而全连接层中，不同节点的连接权值都是不同的。

那么有一个问题？卷积和全连接层的参数量和计算复杂的哪个大？

二、卷积各层感受野的大小

1、定义：某层输出特征图上的某个点，在CNN的原始输入数据上能影响到这个点的取值的区域大小。

2、计算方式： 这里有一公式和例子，写的很清楚，按照这个公式计算即可。

三、卷积输出尺寸、参数量、计算量

1、 输入大小w*h，卷积核k，p为padding，s为stride，则输出大小为：

out_w = (w + 2p - k) / s + 1
out_h = (h + 2p - k) / s + 1

如果p和k在w和h方向上不同，则对应代入公式即可。一般+1前的操作会采用向下取整的方式。

2、参数量：跟卷积核的参数量和卷积核个数有关，公式即为：
c_in * c_out * k_w * k_h

3、计算量：跟卷积核在每个滑动窗口的计算量以及滑动次数有关，计算公式为：
在这里