deep learning.ai 第二课笔记-改善深层神经网络：超参数调试、正则化以及优化

第一周：深度学习的实用层面

1.数据集的划分：过程一般是训练集进行训练，验证集进行模型的迭代验证寻找最好的模型，最后在测试集上无偏评估。

当需要无偏估计时：划分为训练集，验证集，测试集

不需要无偏估计时：也可以划分为训练集和验证集

 

2.对于偏差和方差的问题，高偏差对数据的拟合不够好-欠拟合，高方差则是过拟合。

为了理解偏差和方差，需要理解训练集错误率和验证集错误率。

如果最优误差（贝叶斯误差，比如说人眼的误差）为0，且训练集和验证集来自同一分布，如图：

（1）高方差：如果训练集上的错误率很低但验证集上很高，则我们过拟合了训练集的数据，而验证集没有充分交叉验证

（2）高偏差：训练集上的错误率高，验证集上错误率只比训练集高一点点，我们欠拟合训练集

（3）高方差，高偏差：训练集上的错误率高，验证集上的错误率更高

（4）低方差，低偏差：训练集，验证集上的错误率都很低

 

3.不同解决方法：

（1）检查训练集性能，对于高偏差（欠拟合）：需要重新选择算法，扩大网络规模（选择深度的隐藏单元更多的神经网络等），或花更多时间训练

（2）解决了欠拟合之后，一旦偏差降到可接受范围，再检查验证集方差，如果验证集的方差高（过拟合），解决方法一般是寻找更多的数据，或者正则化来减少过拟合

 

4.正则化一般是给W做约束，因为W是一个包含了绝大部分的参数的权重矩阵，b则是一个参数，