梯度下降和正规方程的比较

梯度下降	正规方程
需要选择学习率 𝛼	不需要
不需要多次迭代	一次运算得出
当特征数量 𝑛 大时也能较好适用	需要计算 (𝑋 𝑇 𝑋) −1 如果特征数量 𝑛 较大则 运算代价大，因为矩阵逆的计算时间复杂度 为 𝑂(𝑛 3 ) ，通常来说当 𝑛 小于 10000 时还是 可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等 其他模型

         只要特征变量的数目并不大，标准方程是一个很好的计算参数𝜃的替代方法。

具体地说，只要特征变量数量小于一万，通常使用标准方程法（又称正规方程法），而不使用梯度下降法。

        对于分类算法，逻辑回归算法，梯度下降法是一个非常有用的算法，可以用在有大量特征变量的线性回归问题。因为标准方程法不适合或者不能用在它们上。

        但对于特定的线性回归模型，标准方程法是一个比梯度下降法更快的替代算法。所以，根据具体的问题，以及特征变量的数量，来选择迭代方式。