机器学习之正规方程法

正规方程法是用来求解最优回归系数θ的，，其公式为：

注意我们应该给X添加一个特征，常把它设置为一，并添加一个系数

• 如下图所示：

如果矩阵X'X结果是不可逆的

 

通常有两种最常见的原因

 

第一个原因是 如果不知何故 在你的学习问题

 

你有多余的功能

 

例如 在预测住房价格时

 

如果x1是以英尺为尺寸规格计算的房子

 

x2是以平方米为尺寸规格计算的房子

 

同时 你也知道1米等于3.28英尺 ( 四舍五入到两位小数 )

 

这样 你的这两个特征值将始终满足约束

 

x1等于x2倍的3.28平方

 

并且你可以将这过程显示出来 讲到这里 可能 或许对你来说有点难了

 

但如果你在线性代数上非常熟练

 

实际上 你可以用这样的一个线性方程 来展示那两个相关联的特征值

 

矩阵X'X将是不可逆的

 

第二个原因是 在你想用大量的特征值

 

尝试实践你的学习算法的时候

 

可能会导致矩阵X'X的结果是不可逆的

 

具体地说 在m小于或等于n的时候

 

例如 有m等于10个的训练样本

 

也有n等于100的特征数量

 

要找到适合的 ( n +1 ) 维参数矢量θ 这是第 n+1 维

 

这将会变成一个101维的矢量

 

尝试从10个训练样本中找到满足101个参数的值

 

这工作可能会让你花上一阵子时间

 

但这并不总是一个好主意

 

因为 正如我们所看到 你只有10个样本 以适应这100或101个参数

 

如何选择使用随机梯度下降还是正规方程法求最优回归系数呢？

如何一个样本的特征少于10000个那么选用正规方程法，否则使用随机梯度下降

二者的优缺点比较：