卷积神经网络
神经网络的问题
在处理二维图像问题中,全连接网络表现不是很好,因为随便一张图片将它变成一维数据,再输入到全连接网络,其参数是指数式增长。机器容量和性能不允许。
图像模式的特性一
平移不变性
图像模式的特性二
尺度不变性
卷积神经网络解决方法:
卷积:解决平移不变性
池化:下采样对图片进行缩放。
CNN基本结构
输入层
可以是三通道彩色图片,也可以是单通道灰度图。
卷积层(特征提取)
根据不同卷积算子,提取不同的featuremap
例:
卷积核(应用)
步长(stride)
如果步长大于1,相当于做下采样,跳过许多计算,计算量会大面积减少。
padding(边缘填充)
卷积层尺寸
卷积后的图像尺寸:
宽 = (上一层宽度 + 2*填充 - 卷积宽度)/ stride +1
高同理
深度 = 卷积核数
激活层
前两个是比较经典的sigmoid函数和tanh函数。第三个是著名的ReLu函数。
前两个激活函数有个共同的缺陷,当网络深度比较深时,会出现梯度消失问题。
池化层
两种典型的池化操作
池化层尺寸
全连接层
将多个featuremaps变成一维向量输入全连接层,打破了空间限制,对不同特征进行加权,对不同类别打分。
小结
CNN网络训练
损失与误差反向传播
梯度下降
梯度下降方法总结
反向传播
sigmoid举例
模型评估
模型正则化