php最小二乘法曲线拟合,最小二乘法与最小二乘支持向量回归的优劣

这是两种解线性模型$X^Tw=y$的回归方法，其中$X$是 $d$x$n$的$d$维$n$个列向量输入数据，$w$是$d$x$1$参数，$y$是输出。最小二乘LS是以随机变量($X$中的行)为计算相关性的单位；最小二乘支持向量回归LS_SVR是以数据点($X$中的列)为计算相似性的单位，类似kNN，以数据点间的距离的估计为基础。回归都是求条件期望(conditional mean)，LS是以输入随机变量为条件，并学习输入随机变量到输出随机变量的模型；LS_SVR是以测试点离训练点的距离矩阵为条件,并学习这个距离矩阵到输出的映射。

1.公式：

LS：$\hat{y}=X_{new}^Tw=X_{new}^T(XX^T)^{-1}XY$,这里$\text{Cov}(X,X)=XX^T$衡量的是输入随机变量的相关性，$\text{Cov}(X,Y)=XY^T$衡量的是输入与输出随机变量的相关性。

LS_SVR： $\hat{y}=X_{new}^Tw=X_{new}^TX\alpha=X_{new}^TX(X^TX+1/\gamma I)^{-1}Y$,其中$w=X\alpha$认为参数$w$是输出数据$X$的加权平均，$\alpha$是每个点的重要性，$\alpha$大的点为support vector。应用kernel后变为$\hat{y}=K(X_{new},X)(\Omega +1/\gamma I)^{-1}Y$。$K(X_{new},X)$ 衡量测试与训练数据点的距离，$\Omega $是训练数据点的距离矩阵，$1/\gamma I$是正则项，让$\Omega +1/\gamma I$可逆。

2.优缺点：

LS优点是在$n>d$时，$(XX^T)^{-1}$计算量要远小于$(\Omega +1/\gamma I)^{-1}$；可直接得到$w$，解释性好；在测试点周围没有训练点时，做extrapolation。

LS缺点是要求所有训练数据点的随机变量要服从相同分布，而且要求测试和训练的随机变量要同分布。也就是说数据要分布一致，不能是mixture之类的数据。所以LS只能处理简单的数据。LS也不容易过拟合。

LS_SVR优点是可以用kernel代替计算高维上的距离；可处理mixture类的复杂数据。

LS_SVR缺点是训练计算量大；距离矩阵不稀疏；要求测试点周围有训练点，只能做interpolation；当使用kernel后不能显性求$w$,可解释性差；较容易过拟合(比如用RBF且半径设的很小)。

可看到除了计算量外，它们优缺点是互补的。如果问题简单，测试和训练数据的随机变量分布一致，用LS。如果测试点周围能找到很多训练点，可用LS_SVR。具体用哪个，主要看对模型估计有信心，还是对距离矩阵向输出的映射的估计有信心。

-----------------------------------

补充一下， 我觉得LS_SVR也有很好的解释性。LS中$w$是输入变量到输出变量的线性映射关系。类同，LS_SVR$\hat{y}=K(X_{new},X)\alpha$，其中$\alpha$是把一个$n$维距离向量到1维输出的线性映射关系。再次反映了LS是基于随机变量，LS_SVR是基于距离。SofaSofa数据科学社区DS面试题库 DS面经

×

Warning

您确定要删除本贴么？所有相关回复也会被一并删除并且无法恢复。

取消

确定删除

Zealing

2018-10-03 14:15

0

十分感谢

- CE_PAUL

2018-10-03 16:03

0

我看过一些书和文献之后也是这样的感觉，LSSVR所谓解释性差都只是集中在“核函数”这一个点而已，其数学逻辑是很清晰的

- CE_PAUL

2018-10-15 14:19