LSSVM(Least Squares SVM)与SVR(支持向量回归)

SVR的推导

LSSVM（Least Square SVM）是将Kernel应用到ridge regression中的一种方法，它通过将所有样本用最小二乘误差进行拟合（这个拟合是在kernel变换过的高维空间），但是LSSVM的缺陷是计算复杂度大概是样本数的三次方量级，计算量非常大。为了解决这个问题于是提出了SVR（支持向量回归），SVR通过支持向量减小了LSSVM的计算复杂度，并且具备LSSVM的能够利用kernel在高纬度拟合样本的能力。

LSSVM

在上一篇降到的逻辑回归（Logistic Regression）和SVM的联系以及Kernel这篇中提到了优化误差形式如下面（1）这个形式的，最终求得的权重w是z的线性组合，然后把这个形式的w代入原式子中就可以利用kernel了，LSSVM的推导过程就是这样。

$$\underset{w}{min}\frac{\lambda}{N}w^Tw+\frac{1}{N}\sum_{n=1}^{N}err(y_nw^Tz_n) \Longrightarrow w = \sum_{n=1}^{N}\beta_nz_n \,\,\,\,\,(1)$$
$$\underset{w}{min}\frac{\lambda}{N}w^Tw+\frac{1}{N}\sum_{n=1}^{N}(y_n-w^Tz_n)^2 \,\,\,\,\,(2)$$
Ridge regression的优化形式如(2)，刚好符合(1)式中的形式，因此把w代入(2)中可以将Ridge regression写成(3)：
$$\underset{w}{min}\frac{\lambda}{N}\sum_{n=1}^{N}\sum_{m=1}^{N}\beta_n\beta_mK(x_n,x_m)+\frac{1}{N}\sum_{n=1}^{N}(y_n-\sum_{n=1}^{N}\beta_nK(x_n,x_m))^2 \$$