一.标准化方程
在前面的梯度下降法中我们提到过如何用矩阵来表示线性回归:
但是该式子会引出以下在线性代数的相关问题.
1.为什么不直接使用式子 YX−1 Y X − 1 求解
原因很简单,当X不是方阵时,X是不存在逆矩阵的,所以需要通过 (XTX)−1XT ( X T X ) − 1 X T 来间接求逆矩阵,那么又引出下一问题
2.若 XTX X T X 不存在逆矩阵呢
XTX
X
T
X
不存在逆矩阵,通常存在以下情况中:
1. 存在两个相关的特征量,例如住宅面积使用了
m2
m
2
和英亩两种单位作为两个特征量,那么会使得矩阵
XTX
X
T
X
不满秩,这时删除其中一个特征量即可.
2. 特征量的值大于训练数据个数,也会导致不满秩,此时需要删除一些特征量或进行标准化(不太清楚标准化).
二.标准化方程与梯度下降比较
标准化方程 | 梯度下降 | |
---|---|---|
优点 | 无需选取学习率α,无需迭代 | 当训练数据个数n很大时,速度也较为平稳 |
缺点 | 由于求逆运算的复杂度为 O(n3) O ( n 3 ) ,所以当n很大时,求解时间过长 | 需要调整学习率α,使收敛速率和准确度达到平衡 |