梯度下降与正规方程组

       之前的博客对梯度下降和正规方程组都做了详细的介绍，突然发现并没有对这两种方法进行对比，本篇博文就是对这两种方法的优缺点进行分析，并帮助我们确定在何种情况下使用何种方法。

   

对于m个训练样本，n个特征值来说。

梯度下降的方法缺点：

（1）需要选择学习速率a

（2）需要进行很多次的迭代

而这些都是正规方程组不需要进行的操作，但是正规方程组的缺点是：

（1）我们计算矩阵的逆运算时需要的时间复杂度是矩阵维度的三次方，因此当n过大时，使用正规方程组的时间会很长

【n上百，上千对于现在的计算机来说运算速度还是很快的，但n>10000时，就应该犹豫是否继续采用正规方程组。】

（2）正规方程组对于复杂的算法并不适用，比如分类算法中的逻辑回归，正规方程组的方法并不适用。

总结：选择何种方法需要根据n的大小，以及具体的算法进行分析决定。