1. 配置训练集验证集和测试集
2. 如何分析偏差和误差
偏差:loss值不行
误差:测试集和验证集的loss值差别比较大
3. 如何处理高偏差和高误差
偏差高:1、使用更大的网络;2、增加训练时长;3、挑其他合适的网络
方差高:1、增加数据集;2、正则化;3、挑选其他合适的网络。
4. 高偏差和高误差并存
5. 如何应用不同形式的正则化,dropout
数据扩大,早停法
正则化技术(例如L2正则化)导致梯度下降在每次迭代时权重收缩------权重衰减
6. 如何加快神经网络的训练速度
归一化输入+初始化权重参数的合理值
7. 梯度消失或爆炸
输入样本归一化+初始化权重参数*默认的方差,使得参数也大致在这个范围=z基本也在这个范围
不同的激活函数*不同的偏小的数字,使得权重或梯度不会增长过快或消失过快
8. 梯度检验
对计算梯度做数值逼近,双边公差检验在反向传播中正确使用了函数f偏导
9. 梯度检验的调试------J的梯度和d(Seita)有什么关系
所有权重和偏置参数转换为向量后连接为一个巨型向量Seita 代价函数J(Seita),
J的梯度和d(Seita)有什么关系?计算误差,小于10^-7,优秀