一、过拟合
1.过拟合和欠拟合
estimated<ground-truth==>用的模型的表达能力小于真实模型的复杂度==>underfitting
estimated>ground-truth==>用的模型的表达能力大于真实模型的复杂度==>overfitting
2.交叉验证
train/evaluate/test splitting:检测是否overfitting
k-fold cross-validation:减少overfitting
3.正则化
4.学习率与动量
momentum:惯性
learning rate decay:迫使learning rate慢慢接近0
5.其他训练的tricks
early stopping
dropout:学习时不一定使用所有的参数
stochastic gradient descent
二、卷积神经网络
1.什么是卷积
权值共享