全连接层
反向传播算法是神经网络中加速计算参数梯度值的方法
卷积层
1、卷积核的channel与输入特征层的channel相同(譬如下图,均为3通道)
2、输出的特征矩阵channel与卷积核个数相同(譬如下图有两个卷积核,输出矩阵的channel个数也为2)
卷积层目的:进行图像特征的提取
卷积特性:拥有局部感知机制、权值共享
加上偏移量之后如何计算?:直接对应加到输出特征矩阵的方块里
加上激活函数之后如何计算?:
如果卷积过程中出现越界的情况该怎么办?:(步长为2,使用padding补0)
①44
②33
③2
④若上下左右都补0,则加2p,由于我们只在右边和下边加0,所以只用加1个p
最后得到卷积核大小就是2*2
池化层:
特点:
①没有训练参数
②只改变特征矩阵的w和h,不改变channel
③一般poolsize和stride相同
误差的计算
多分类问题:输出唯一,输出为猫或狗
二分类问题:输出不唯一,输出为人类或者男人
权重的更新
优化器
目的:使网络更快的收敛
常见优化器: