2-2改善神经网络--超参数调参，正则化和梯度相关

1. 配置训练集验证集和测试集

2. 如何分析偏差和误差

偏差：loss值不行
误差：测试集和验证集的loss值差别比较大

3. 如何处理高偏差和高误差

偏差高：1、使用更大的网络；2、增加训练时长；3、挑其他合适的网络

方差高：1、增加数据集；2、正则化；3、挑选其他合适的网络。

4. 高偏差和高误差并存

5. 如何应用不同形式的正则化，dropout

数据扩大，早停法

正则化技术（例如L2正则化）导致梯度下降在每次迭代时权重收缩------权重衰减

6. 如何加快神经网络的训练速度

归一化输入+初始化权重参数的合理值

7. 梯度消失或爆炸

输入样本归一化+初始化权重参数*默认的方差，使得参数也大致在这个范围=z基本也在这个范围

不同的激活函数*不同的偏小的数字，使得权重或梯度不会增长过快或消失过快
8. 梯度检验
对计算梯度做数值逼近，双边公差检验在反向传播中正确使用了函数f偏导
9. 梯度检验的调试------J的梯度和d(Seita)有什么关系
所有权重和偏置参数转换为向量后连接为一个巨型向量Seita  代价函数J(Seita),
J的梯度和d(Seita)有什么关系？计算误差，小于10^-7,优秀