3.机器学习--知识点三：多项式与正则化

知识点三：多项式与正则化

使用多项式拟合的时候，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做正则化项（regularizer）。在线性回归模型中，通常有两种不同的正则化项：
（1）加上所有参数（不包括θ0）的绝对值之和，即l1范数，此时叫做Lasso回归加粗样式；
（2）加上所有参数（不包括θ0）的平方和，即l2范数，此时叫做岭回归

注意：在这里引出了两个名词：代价函数，线性回归，见下一节。