机器学习入门--正规方程（含推导过程）

一、含义^[1]

正规方程是通过求解代价函数的导数，导数为0来求得theta的值。

二、推导

上面第一个等式是线性回归的代价函数，写成向量化的形式即为第二个等式，向量的转置乘以该向量的含义是求向量中各元素的平方和，即X^T * X = x1²+x2²+…+xn²

对代价函数求导^[3]：

令导数为0时即为theta最小值

三、表现^[1]

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

梯度下降与正规方程的比较：

梯度下降	正规方程
需要选择学习率	不需要
一次运算得出，当特征数量n大时也能较好适用	需要计算如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为 ，通常来说当n小于10000 时还是可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型

Reference：
[1] 吴恩达机器学习
[2] Linear Regression(线性回归)（二）—正规方程（normal equations）
[3] 机器学习_正规方程（最小二乘法）的推导