最小化代价函数的其他法
上图这种数学中求导方法太麻烦,所以我们不使用,下边介绍正规方程法
- 对于某些线性回归问题,正规方程的方法可以给我们更好的方法去求得参数Ø。即是除梯度下降方法之外的另外一种方法去求参数,得到代价函数的最小值。
- 这是一种求参数Ø的解析方法,不再像梯度下降那样一步一步的迭代,而是直接一次性的求出参数Ø,得出最小值
- 对这个算法的直观理解
暂时先不用理解这个求解Ø的式子,用octave语言很方便就可以计算出Ø - 使用正规方程这种方法不用进行特征缩放,而梯度下降算法需要特征缩放。
- 什么时候用梯度下降,什么时候使用正规方程法?
如果我们有n个特征,m个样本
梯度下降算法
缺点:要选择学习率,这表示着通常要进行很多次运行来选择学习率;需要进行未知多少次的迭代,可能会很慢。
优点:在特征很多的情况下,仍然可以工作的很好