深度学习第五课

卷积层
卷积层的工作原理。

我们是使用卷积核来提取特征的，卷积核可以说是一个矩阵。假如我们设置一个卷积核为3*3的矩阵，而我们图片为一个分辨率5*5的图片。那么卷积核的任务就如下所示：

从左上角开始，卷积核就对应着数据的3*3的矩阵范围，然后相乘再相加得出一个值。按照这种顺序，每隔一个像素就操作一次，我们就可以得出9个值。这九个值形成的矩阵被我们称作激活映射（Activation map)。这就是我们的卷积层工作原理。也可以参考下面一个gif:
其中，卷积核为

                                                       

                

 

池化层 (pooling layer)

前面说到池化层是降低参数，而降低参数的方法当然也只有删除参数了。

一般我们有最大池化和平均池化，而最大池化就我认识来说是相对多的。需要注意的是，池化层一般放在卷积层后面。所以池化层池化的是卷积层的输出！

激活函数的作用

引入非线性因素。

在我们面对线性可分的数据集的时候，简单的用线性分类器即可解决分类问题。但是现实生活中的数据往往不是线性可分的，面对这样的数据，一般有两个方法：引入非线性函数、线性变换。

线性变换

就是把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

激活函数

激活函数是如何引入非线性因素的呢？在神经网络中，为了避免单纯的线性组合，我们在每一层的输出后面都添加一个激活函数（sigmoid、tanh、ReLu等等），这样的函数长这样：

Sigmoid & Tanh

 

 运行结果