深度学习--吴恩达--第二课--第一周--笔记

训练神经网络时，需要做出的决策：

神经网络分多少层；每层含有多少个隐藏单元；学习速率是多少；各层采用哪些激活函数。

训练集、验证集、测试集：

搭建训练验证集和测试集能够加速神经网络的集成，也可以更有效地衡量算法地偏差和方差，从而帮助我们更高效地选择合适方法来优化算法

• 验证集：
  验证集的目的就是验证不同的算法，检验哪种算法更
  有效
• 测试集：
  测试集的主要目的是正确评估分类器的性
  能
  没有测试集也不要紧，测试集的目的是对最终所选定的神经网络系统做出无偏估计，如果不需要无偏估计，也可以不设置测试集。

偏差，方差：

• 欠拟合（underfitting）：高偏差（high bias）

• 据过度拟合（overfitting）：高方差（high variance）
  
• 适度拟合（just right）：这是最好的拟合。
  
  重点是通过查看训练集误差，我们可以判断数据拟合情况，至少对于训练数据是这样，可以判断是否有偏差问题，然后查看错误率有多高。当完成训练集训练，开始使用验证集验证时，我们可以判断方差是否过高，从训练集到验证集的这个过程中，我们可以判断方差是否过高。