第二周--线性回归问题

两种方法：

1.梯度下降法

 

   优点：即使特征变量的维度n很大，该方法依然很有效

   缺点：1）需要选择学习速率α

          2）需要多次迭代

 

 

 

2.正规方程法

该方法可以一次性求解参数Θ

 

    优点：1）不需要选择α

            2）不用多次迭代，一次求解

            3）正规方程法不需要归一化处理

    缺点：逆矩阵的计算量比较大，尤其当特征变量的维度n很大时；计算逆矩阵的运算量大概是矩阵维度的3次方。

 

总结：当特征变量维度n较大时（n>=10000），选择梯度下降法；当n值较小时(n<10000)，选择正规方程法求解Θ。

 

 备注：求解模型代价函数J(Θ)的最小值方法，本文分析主要针对线性回归模型。对于线性回归模型而言，在特征变量维度不是很大的情况下(n<10000),使用正规方程求解Θ是一个很快捷的方法；但是对于分类问题， 比如逻辑回归这种更加复杂的模型，根本就不能使用正规方程法，而只能使用梯度下降法求救Θ。所以，梯度下降法用的更广泛一些。