吴恩达机器学习笔记—求解回归问题参数的方法选择（梯度下降法与正规化方程）...

正规化方程法与梯度下降法都是求解回归问题参数的方法。我们今天来学习什么是正规化方程法与梯度下降法，并探讨求解回归问题参数如何选择的问题。

1、梯度下降法通过搜索步长a, 多次迭代收敛得到全局或局部最优解。（相关梯度下降的一些知识见上一篇博文，这里不多作介绍）

2、正规化方程法是解析方程，即先方程求偏导，再将方程置0，求解出来的参数即最优参数。特点不用迭代，一次性可以求解参数组最优解。

这是求解参数组的方程：

需要特别注意的是有些特殊的情况可能会导致正规方程在矩阵不可逆（即不可逆），使得参数方程有伪解：1）特征组包含了多余的特征；2）特征数据远大于样本数量时也可能出现矩阵不可逆。当正规方程在矩阵不可逆情况下的解决办法：删除某些特征或或使用正则化方法。

3、回归问题参数求解时，梯度下降与正规方程的选择

      梯度下降需要设置搜索步长和迭代多次，而正规化方程并不需要，直接可以求解。但是当参数组数量过多，即特征很多是，正规化计算量大计算速度慢，而特征较少时，正规方程明显占优。所以当特征数量较少，回归问题参数求解选择正规方程法较好；所以当特征数量较多，回归问题参数求解选择梯度下降法较好。（当然这个较多或较少并没有一个数量的标线）

转载于:https://my.oschina.net/u/3767735/blog/1840265