BAT机器学习面试26-30题笔记

26 .卷积神经网络CNN池化层有什么作用?

池化（Pooling）：也称为欠采样和下采样。主要用于特征降维，压缩数据和参数的数量。减小过拟合，同时提高模型的容错性。保持一定程度的旋转和平移不变性。

27.常见的激活函数。激活函数有什么作用？

所谓激励，实际上是对卷积层的输出结果做一次非线性映射。
如果不用激励函数（其实就相当于激励函数是f(x)=x），这种情况下，每一层的输出都是上一层输入的线性函数。容易得出，无论有多少神经网络层，输出都是输入的线性组合，与没有隐层的效果是一样的，这就是最原始的感知机了。
sigmoid函数。Tanh函数。ReLU。Leaky ReLU 。ELU。Maxout。
首先ReLU，因为迭代速度快，但是有可能效果不佳。如果ReLU失效的情况下，考虑使用Leaky ReLU或者Maxout，此时一般情况都可以解决。Tanh函数在文本和音频的处理有比较好的效果。

sigmoid函数: $f(x)=1/(1+e^{-}x)$
导数:


缺点:
1.激活函数计算量大,反向传播求误差梯度时,求导设计除法.
2.反向传播很容易出现梯度消失的情况,从而无法完成深层网络的训练(sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0)).

此图为sigmoid求导图像,从图中看,梯度不可能超过0.25,当x大于0后,梯度开始消失趋于0,经过链式求导之后,很容易梯度消失.

Tanh函数:

也称为双切正切函数,取值范围为[-1,1]
tanh在特征相差明显时的效果会更好,在循环过程中会不断扩大特征效果.
与sigmoid的区别是,tanh是0均值的,因此实际应用中 tanh 会比 sigmoid 更好。

ReLU:

使用 ReLU 得到的 SGD 的收敛速度会比 sigmoid/tanh 快很多.解决了梯度消失,或者梯度爆炸.计算方便
relu函数的导数在正数部分是恒等于1的，因此在深层网络中使用relu激活函数就不会导致梯度消失和爆炸的问题。
缺点:原因分析

28.如何选择卷积核的大小？越大越好还是越小越好？

答案是小而深，单独较小的卷积核也是不好的，只有堆叠很多小的卷积核，模型的性能才会提升。
1.CNN的卷积核对应一个感受野，这使得每一个神经元不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局信息。这样做的一个好处就是可以减少大量训练的参数。
2.VGG经常出现多个完全一样的3×3的卷积核堆叠在一起的情况，这些多个小型卷积核堆叠的设计其实是非常有效的。两个3×3的卷积层串联相当于1个5×5的卷积层，即一个像素会和周围5×5的像素产生关联，可以说感受野是5×5。同时，3个串联的3×3卷积层串联的效果相当于一个7×7的卷积层。除此之外，3个串联的3×3的卷积层拥有比一个7×7更少的参数量，只有后者的 (3×3×3) / (7×7) = 55%。最重要的是3个3×3的卷积层拥有比一个7×7的卷积层更多的非线性变换（前者可以使用三次ReLu激活，而后者只有一次）。

29.为什么CNN中的卷积核一般都是奇数*奇数

解答一：更容易padding!
在卷积时，我们有时候需要卷积前后的尺寸不变。这时候我们就需要用到padding。假设图像的大小，也就是被卷积对象的大小为nn，卷积核大小为kk，padding的幅度设为(k-1)/2时，卷积后的输出就为(n-k+2*((k-1)/2))/1+1=n，即卷积输出为n*n，保证了卷积前后尺寸不变。但是如果k是偶数的话，(k-1)/2就不是整数了。
解答二：跟容易找到卷积锚点！
在CNN中，进行卷积操作时一般会以卷积核模块的一个位置为基准进行滑动，这个基准通常就是卷积核模块的中心。若卷积核为奇数，卷积锚点很好找，自然就是卷积模块中心，但如果卷积核是偶数，这时候就没有办法确定了，让谁是锚点似乎都不怎么好。

30.两种padding方式：same/valid

“VALID”只会丢弃最右边无法扫描到的列（或者最底部无法扫描到的列）。

“SAME”试图在左右添加padding，但如果列添加的数量是奇数,则将额外的添加到右侧（即保持双数时，左右padding相通，偶数时，右侧/底部 比 左侧/顶部 多1)，在垂直方向同理）。