CNN发展:BP--LeNet(标志CNN面世)--Deep learning(2012)
卷积神经网络CNN:包含卷积层的神经网络
利用BP(反向传播)算法训练LeNet5网络
检索、目标检测、图像分割、图像描述
全连接层:神经元全连接
BP算法包括信号的前向传播和误差的反向传播
卷积层:有一个卷积核即滑动窗口,,目的是提取图像特征,特性是局部感知和权值共享
卷积核(filter)的channel(深度) 与输入特征层的channel(深度)相同;输出的特征矩阵channel与卷积核个数相同
偏移量bias:加入一个偏置量为-1,则上图输出的的第一个特征矩阵是[0,2,0,0]
激活函数:引入非线性因素 sigmod;relu(常用)
越界:padding补零;
W=4,F=3,P=1(一般四周都补零,现在只加了右和下所以可以2p--p),S=2则N=2,特征矩阵2*2
池化层:没有训练参数,只改变特征矩阵的宽度W和高度H,不改变深度,一般poolsize和stride相同
MaxPooling下采样层,目的:对特征图进行稀疏处理,减少数据计算量
AveragePooling下采样层
反向传播
y1是第二层的输出并没有激活函数,因为在最后一层统一用softmax。
交叉熵损失:
误差反向传播:Loss对W11求偏导--求导链式法则,依次类推得到每个节点的损失梯度,就可以进行权重更新。
从而可以进行权重更新:参数学习率
分批次(batch,即每次训练的量)训练:若使用分批次样本进行求解损失梯度指向当前批次最优方向,每进行一个批次的训练则会进行一次误差的计算和误差的反向传播
优化器optimazer:目的使网络更快的收敛