正规方程法

正规方程法是利用矩阵求解的

公式为θ=(X^TX)^-1X^Ty

Octave:pinv(x'*x)*x'*y

正规方程法不需要特征缩放

设计矩阵

有m个样本(x^(1),y^(1)),.....,(x^(m),y^(m));n个特征

x^（i） 的维度是n+1，向量里是n+1个的特征向量，X是m个x⁽ⁱ⁾ 的转置矩阵

对比一下正规方程法与梯度下降的优缺点

 

梯度下降	正规方程
优：当特征数量很多时 也能很快的拟合好	优：不需要学习率α
缺：需要学习率α 为了找到合适的α 需要运行很多次	缺：如果特征n的的数量很大 x的维度也会很大，需要很多 时间来计算(XTX）-1

 

当X^TX不可逆时，我们首先可以查看所有的特征，看是否有特征线性相关，如果有，二者删齐一；然后看是否有太多的特征，可以选择一些不影响的特征删除

转载于:https://www.cnblogs.com/fromzore/p/10027571.html