第五章 第一节 算法分析与优化（陷入不归路的调试）

陷入不归路的调试

在线性回归中，我们使用了如下的代价函数来评估预测误差：

想要降低预测误差，即提高预测精度，我们往往会采用这些手段：

手段	评价
采集更多的样本	我们认为见多识广会让人变得聪明，但是也会让人变得优柔寡断，或者聪明反被聪明误。
降低特征维度	也许被降掉的维度会是非常有用的知识。
采集更多的特征	增加了计算负担，也可能导致过拟合。
进行高次多项式回归	可能造成过拟合。
调试正规化参数 λλ	这个调节策略缺乏指导，只能是猜测性调节。

可以看到，这些手段不总是那么美好，而且每个手段的尝试都会花费我们大量时间去调代码，跑测试，也许还出力不讨好。