为什么要“深度学习”
全连接网络问题
全连接网络 :链接权过多 ,算的慢难收敛,同时可能进入局部极小值,也容易产生过拟合问题。
解决算的慢问题:减少权值连接,每一个节点只到上层的少数神经元,即局部连接网络。
卷积神经网络
基本概念
特征提取
注意,图像卷积时根据定义需要首先把核上下左右转置。此处卷积核(黄色)时对称的,可以忽视。
填充
在矩阵边界填充一些值,以增加举证的大小,通常是0或者复制边界
像素来填充
步长
如图步长为 2
池化
思想 :使用局部统计特征,如均值或最大。解决特征过多问题
构成 :由多个卷积层和下采样构成,后面可连接全连网络
卷积层:𝑘个滤波器
下采样层 :采用 mean或max
后面 :连着全接网络
算法
前向传播定义为:
如果第𝑙层是卷积 +池化层,则:
误差反向传播
卷积NN的BP算法:下层采样
如果当前是卷积层,下一层为下层采样,误差如何从下采样层回传假设为 2*2核平均池化
如果当前是下采样层,下一层为卷积层,误差如何从下采样层回传假设为 2*2核卷积
卷积NN的BP算法:卷积层+卷积层
卷积NN的BP算法:卷积层+全连接层
卷积层:
全连接层:
因此有:
声明:以上来自屈桢深老师课件