1.1 polynomial curve fitting

1 polynomial curve fitting is a small regression problem.我们有训练集{x1,x2,...xN}和观测集{t1,t2,...tN}；通过ML找寻隐藏在数据后面的关系（y(x,w)）。用一个多项式去拟合：

其中M表示model的complexity，对于x是非线性，对于w是线性（linear model）。

利用training data 确定vextor w。

 This can be done by minimizing an error function that measures the misfit between the function y(x,w), for any given value of w, and the training set data points.

上式对w进行求导，得到最小error function 时的w。

2 over-fitting是ML核心的问题

（1）训练数据中含有噪声，ML拟合的时候无法去除，有时候导致学习出来的算法有比较大的误差；

（2）training data 中含有其他model的数据，所以设计的模型不符合，导致过拟合；

（3）训练样本太少，设计模型过于复杂

在linear regression中，minimize error function，一味的减小，M比较大，导致模型复杂度过高，overfitting，学习出的model泛化能力太差。（训练样本数与M的比值）

解决方法：引入正则项。