深度学习知识点总结

卷积层

卷积核与输入图片相对应位置进行乘积，最后相加得到输出feature map的对应的值。有多少个卷积核输出的feature map的channel数量就是多少。

作用：

1. 提取特征
2. 提供位置信息
3. 减少参数个数（设置大的步长）

常用的卷积：
3X3 1X1， VGG中提出用小的卷积来代替大的卷积，可以减少参数量，同时的到相同的感受野。比如：3个3X3感受野与一个7X7相同，2个3X3感受野与一个5X5感受野相同。
1X1 卷积比较特殊，他的作用：

1. 对通道数进行升维降维，实现跨通道的融合。
2. 在保证feature map不变的情况下，增加非线性特征，并且把网络做的很深。

Pooling layer

常用的pooling layer为max pooling 和 avg pooling.
性质：具有不变性。（旋转，平移，缩放）
作用：

1. 对特征图进行下采样，减少参数量。
2. 可以提取主要特征。

激活函数

（表达式就不细说了，简单总结一下）
激活函数作用： 增加网络的非线性表达能力。
sigmoid： 常用于二分类，容易造成梯度消失，梯度爆炸现象，不是zero-center,且表达式中含有exp(x）计算量大。
tanh: 仍然具有计算量大的缺点&#x