卷积层
卷积核与输入图片相对应位置进行乘积,最后相加得到输出feature map的对应的值。有多少个卷积核输出的feature map的channel数量就是多少。
作用:
- 提取特征
- 提供位置信息
- 减少参数个数(设置大的步长)
常用的卷积:
3X3 1X1, VGG中提出用小的卷积来代替大的卷积,可以减少参数量,同时的到相同的感受野。比如:3个3X3感受野与一个7X7相同,2个3X3感受野与一个5X5感受野相同。
1X1 卷积比较特殊,他的作用:
- 对通道数进行升维降维,实现跨通道的融合。
- 在保证feature map不变的情况下,增加非线性特征,并且把网络做的很深。
Pooling layer
常用的pooling layer为max pooling 和 avg pooling.
性质:具有不变性。(旋转,平移,缩放)
作用:
- 对特征图进行下采样,减少参数量。
- 可以提取主要特征。
激活函数
(表达式就不细说了,简单总结一下)
激活函数作用: 增加网络的非线性表达能力。
sigmoid: 常用于二分类,容易造成梯度消失,梯度爆炸现象,不是zero-center,且表达式中含有exp(x)计算量大。
tanh: 仍然具有计算量大的缺点&#x