拼命三娘冲（20191114)_Modeling in Practice

看了吴恩达机器学习视频的第10章，做一个小小的总结。
\newline
在选择模型的过程中，我们可能需要做主观决策的情形如下：
1、Degree of Polynomial 多项式次数
2、Regularization parameter 正则化项参数
3、The No. of the hidden layers in NN 神经网络中隐藏层的层数
\newline
思路：
1、提出多个模型假设，利用TrainIng set 求出各模型参数
2、将各备选模型的参数选定后，利用 cross validation set 交叉验证得出误差，选择误差最小的最优模型。
3、Test set 用于在得出的最优模型上计算 generalization error。
\newline
为什么需要将原始 data set 分成 training, cross validation (cv), and test set? 而不是 training and test set?
\quad 在只有两个 data set 的情况下，选择最优模型时，原则为最小 test error，那么再去考量该最优模型的表现时，反复使用 test set 就没有意义了，不具有泛化性。正确的做法应该是要用没有使用过（没有出现过）的样本数据进行测试，得出泛化误差。