训练模型过程中常见的问题:
(1)过拟合(overfitting):模型在训练时的误差远小于测试时的误差(训练误差较小,实际测试时误差大)
(2)欠拟合(underfitting):训练误差较大
影响因素:数据集的大小,模型的复杂度等
过拟合改进方法:dropout,正则化
(3)当神经网络的层数较多时,梯度的计算容易出现消失或爆炸现象。
卷积神经网络基础:
二维卷积核(过滤器)在二维数组上不断滑动,并与该位置的数组按元素相乘并求和得到输出数组(特征图)中相应位置上的元素。
感受野:特征图上的一个元素映射到原图上的大小
填充(padding):
步幅(stride):每次滑动的长度
1x1卷积核作用:在不改变宽高时调整通道数;
池化:最大池化和平均池化
卷积神经网络:
1.LeNet模型(实现图像分类)
conv+pooling+conv+pooling+dense+dense+dense
注意:卷积使用的是5x5,然后再使用sigmoid激活函数;池化是平均池化;有三个全连接层,分别输出120,84,10.最后的10为输出的类别数。
2.AlexNet
3.VGG
4.GoogLeNet