斯坦福机器学习公开课4-6 4-7标准方程快速解theta

很简单。比如j(theta)是下面的方程

通过是导数等于0 一步就能求出theta

对于下面的j(theta).

对每个参数求偏导 得到的结果也是最快的。

但是实际上对每个求偏导很麻烦。也很费事

因此可以用如下的方程来求解

当数据量不大的时候可以使用标准方程法。

但是梯度下降法始终都可以运用。

如果标准方程法中 XtX不是可逆的呢？（可以用伪逆矩阵）

一般XtX是可逆的，但是如果不可逆，一般有两种情况

1特征并不独立。比如x1是平方米 x2是平方英尺。这两个是有关系的

2 就是特征比样本的数量要多。比如你有100个特征。但是只有10个样本。

如果确实是不可逆的首先检查特征值里面是否有多余的特征

比如x1 x2线性相关 可以删除一个特征。来解决不可逆的问题

第二检查是否有过多的特征。如果有。删除一些多余的特征。尽量用较少的特征来表达更多的内容

或者使用正则化(Regularization)
（后续再说）。

一般来说是不会遇到不可逆的情况。因此不需要过多关注不可逆的情况