NLP实习面试准备-卷积专题(一)

1. 介绍一下卷积层与全连接层的区别？

1. 卷积层输出层上的每个节点都只与输入层的部分结点(一个卷积核大小)连接。而在全连接层中，输出层的每个节点会与输入层所有节点存在连接。
2. 卷积层的滑动窗口机制，使得输出层不同位置结点共享参数(卷积核参数)。而在全连接层中不同节点的连接权值都是不同的。
3. 卷积层输出保持输入数据原有的结构信息，而全连接层将数据展成一维使得输入和输出数据在相应位置对应关系丧失。

2. 在卷积神经网络中， 如何计算各层的感受野大小？

感受野：对与卷积神经网络其中一层的feature map上的某一个点，原始输入数据能影响这个点的取值的区域。

3. 卷积层的输出尺寸，参数量和计算量。

1. 输出尺寸：
   假设一个卷积层的输入特征图的尺寸为$l_w^i\ast l_h^i$, 卷积核大小为$k_w\ast k_h$, 步长为$s_w\ast s_h$, 计算输出特征图尺寸$l_w^o\ast l_h^o$。
   假设卷积核在滑动过程中，对输入特征图左右两侧分别进行$p_w$列填充，上下两侧分别进行$p_h$列填充，则填充后的特征图尺寸为：$(l_w^i+2p_w)\ast (l_h^i+2p_h)$。
   则输出特征图尺寸为：
   l e o = ⌊ l e i + 2 p e − k e s e ⌋ + 1 , e ∈ { w , h } (1) l_e^o=\left \lfloor \frac{l_e^i+2p_e-k_e}{s_e} \right \rfloor+1, e \in{\{w, h\}} \tag{1} leo​=⌊se​lei​+2pe​−ke​​⌋+1,e∈{w,h}(1)
2. 参数量：
   假设当前卷积层输入通道数为$c^i$, 输出通道数为$c^o$，当前卷积层的参数量为：
   $$c^i\ast c^o\ast k_w\ast k_h\text{\hspace{1em}(2)}$$
3. 计算量：
   当前卷积层的计算量=输出的所有点的个数*每一个点的计算量。
   输出所有点的个数$=l_w^o\ast l_h^o\ast c^o$
   每个点的计算量$=c^i\ast k_w\ast k_h$
   结合$(1)$得，计算量约为：
   $$c^i{k}_w{k}_h{c}^o{l}_w^i{l}_h^i/(s_w{s}_h),p_e\ll l_e^i,k_e\ll l_e^i\text{\hspace{1em}(3)}$$