1. 正规方程
前面几篇文章里面我们介绍了求解线性回归模型第一个算法 梯度下降算法
,梯度下降算法最核心的是找到一个学习速率α,通过不断的迭代最终找到θ0 ... θn, 使得J(θ)值最小。
今天我们要介绍一个解决线性回归模型新的算法 正规方程
对于函数f(x) = ax^2 + bx + c 而言,要求其最小值,是对其求导数并且设置导数值为0.
我们知道,多维特征变量的线性回归模型中,代价函数表达式,如下图所示
![](https://camo.githubusercontent.com/69d7473a15e3ebc5f447bdf7d3091cc2eb0a4f8e/687474703a2f2f696d672e626c6f672e6373646e2e6e65742f3230313630343138313931333030333836)
扩展到n+1个参数θ0 ... θn,求函数J(θ)也可以对每个参数求导并另导数为0