卷积神经网络CNN的结构一般包含这几个层:
输入层(input):用于数据的输入。在CNN的输入层中,(图片)数据输入的格式 与 全连接神经网络的输入格式(一维向量)不太一样。CNN的输入层的输入格式保留了图片本身的结构。
卷积层(conv):使用卷积核进行特征提取和特征映射。在卷积层中有几个重要的概念:
local receptive fields(感受视野)
shared weights(共享权值)
激励层(relu):由于卷积也是一种线性运算,因此需要增加非线性映射
池化层(pole):进行下采样,对特征图稀疏处理,减少数据运算量。当输入经过卷积层时,若感受视野比较小,布长stride比较小,得到的feature map (特征图)还是比较大,可以通过池化层来对每一个 feature map 进行降维操作,输出的深度还是不变的,依然为 feature map 的个数。
全连接层(FC):通常在CNN的尾部进行重新拟合,减少特征信息的损失。全连接层主要对特征进行重新拟合,减少特征信息的丢失;输出层主要准备做好最后目标结果的输出。
输出层:用于输出结果。
这章着重介绍激励层(又叫激活函数)。如果每一个神经元输出都通过一个非线性函数,使其神经网络模型变为非线性,这个非线性函数就是激活函数。
常用的激活函数:
我们使用relu函数,接着用这张图说明问题:x1=0.7,x2=0.9
a12的公式应该错了。
参考:https://blog.csdn.net/yuelulu0629/article/details/79873990