吴恩达《机器学习》——第十章《应用机器学习的建议》

10.1 Deciding what to try next（决定下一步做什么）

假设已经训练了带有正则项的代价函数，但是将假设（模型）应用到新的例子上时，仍然产生了不可接受的大误差。有以下几个调整模型的方法：1，得到更多的训练样本；2，尝试更少的特征集；3，尝试得到额外的特征；4，尝试加入多项式特征；5，减小正则系数$\lambda$；6，增大正则系数$\lambda$。

10.2 Evaluating a hypothesis（评估假设）

将训练样本分为：训练集和测试集，比例一般是7:3，70%作为训练集，30%作为测试集。注：如果训练样本有某种规律或顺序的话，最好是随机选择；如果训练样本已经随机分布好了，可以取前70%作为训练集，后30%作为测试集。

在测试集上的测试误差，对于回归问题，可以直接使用不带正则项的代价函数（计算在测试集上）；对于分类问题，测试误差可以采用“预测错的测试集中的样本数 / 测试集的总样本数”。

10.3 Model selection and training/validation/test sets（模型选择和训练、验证、测试集）

前一节之所以可以把训练样本只分为“训练集”和“测试集”，是假设没有超参数的前提下。当神经网络中有超参数（除了权重和阈值 $\theta$外的可以进行选择优化的参数，比如正则系数$\lambda$）时，需要将训练样本分为“训练集”、“验证集”和“测试集”。

训练集是用来对多个不同的超参数训练多个神经网络模型；验证集是用来在多个不同的超参数对应的神经网络模型中选择最优的超参数对应的模型；测试集是用来测试验证集选出来的模型。这三者之间的比例一般是6:2:2，当然还是要先随机排序。

注：验证集也被称为交叉验证集（crossover-validation set），所以和验证集相关的下标一般用“cv”表示，和训练集相关的下标一般“train”表示，和测试集相关的下标一般用“test”表示。三个集合上的误差（不带正则项的代价函数）计算如下：

10.4 Diagnosing bias vs. variance（诊断偏差和方差）

如果一个学习算法表现不好，多半是出现两种情况：偏差比较大，对应于“欠拟合”；方差比较大，对应于“过拟合”。

判断是偏差大（欠拟合），还是方差大（过拟合）的方法：当训练集上的误差高并且验证集上的误差约等于（差不太多）训练集上的误差时，是欠拟合；当训练集上的误差小，验证集上的误差远大于训练集上的误差时，是过拟合。

10.5 Regularization and bias/variance（正则化和偏差、方差）

如何选择合适的正则系数$\lambda$：$\lambda$是一个超参数，选择多个超参数，利用训练集、验证集、测试集，选择一个合适的$\lambda$。

当$\lambda$过大时，可能出现欠拟合；当$\lambda$过小时，可能出现过拟合。

10.6 Learning curves（学习曲线）

如果一个学习算法有高偏差（欠拟合）问题，增加训练集可能用处不大；如果一个学习算法有高方差（过拟合）问题，增加训练集很可能有用。

10.7 Deciding what to try next（revisited）（决定下一步做什么）

本节介绍了10.1节中的6种方法什么情况下能够改进算法。1，得到更多的训练样本（出现高方差/过拟合问题）；2，尝试更少的特征集（出现高方差/过拟合问题）；3，尝试得到额外的特征（出现高偏差/欠拟合问题）；4，尝试加入多项式特征（出现高偏差/欠拟合问题）；5，减小正则系数$\lambda$（出现高偏差/欠拟合问题）；6，增大正则系数$\lambda$（出现高方差/过拟合问题）。

如何为神经网络模型选择结构或者连接形式：