机器学习与智能计算 之 最小二乘法

要点

多项式拟合是利用线性模型来解决非线性问题的有效方法。模型由一个线性的系数（待求）与原始输入变量的乘积和组成。用任意函数替代乘积中的变量也适用，只要这个函数是确定的（函数中没有自由参数，只有系数相乘）。优化的系数由最小化误差平方和来决定，因此需要解一组线性方程。如果输入-输出的样本数没有系数个数多，那么将导致过拟合，使用该模型在新样本中获取输出是危险的。

一个多项式模型的优点是它能够通过评估可得到的预测值与观测数据间不符的概率（也就是数据在此模型参数下的似然）来评价。如果这个概率很低，我们就不能太相信这个模型。但是关于误差产生原因的一个错误假定，就可能轻易地导致过于乐观或过于悲观的结论。统计只有基于正确的假设才能得到坚实科学的结构，再牢固的统计结果构筑在一个如沙般稀松的无效假设之上也难免支离破碎。幸好，有好理解且鲁棒的基于能轻松承受的大运算量的方法来检验，如交叉验证。

“荒谬”如自举法（如蒙特卡罗方法，在同一数据中重复采样来重复估计操作）可以被用来获取在估计参数值附近的置信区间。

你已经将被认作是最小二乘专家的似然最大化了。