机器学习（七）线性回归、正规方程、逻辑回归的正规化

本文由 @lonelyrains 出品，转载请注明出处。 
文章链接： http://blog.csdn.net/lonelyrains/article/details/49123433

问题：过分拟合  为了片面追求对已知样本的识别率，拟合过于高阶的函数输入，导致出现很多局部最优情况

解决方法：为代价函数引入新的参数项

1）线性回归 

      代价函数

      梯度

2）正规方程

      方程

3）逻辑回归

      代价函数

      梯度

除了能用于二元分类之外，也可以用于多元分类。假设分为1~n类，那就建n个二元分类器，分别分为是这类和不是这类。在对新的样本进行预测时，分别代入到这n个二元分类器，取所有二元分类器中h(x) 最大的一个，将该样本分为这类即可。