结合KSVM理解再生核希尔伯特空间（RKHS）中的表示定理（Representer Theorem）

1 线性模型与非线性模型

在学习表示定理之前我们要先理解什么是线性模型，这个概念听过很多次，但真正追究起来并不是很清楚，在下面参考的第一二篇文章中对广义线性模型进行了讲解，在此我也不做总结，一是能力有限怕带跑偏了，二是本篇内容的重点不在此。其中比较明确的一点就是线性模型始终试图找到一个超平面对数据进行划分，例如逻辑回归，它是用超平面$w^{T}x+b$对数据进行划分，只不过对超平面的划分结果进行了非线性处理；引入核技巧的SVM则是先对数据进行了非线性映射，然后对映射后的特征空间用$w^{T}x+b$进行划分；所以这两者都属于线性模型。

2 表示定理

表示定理的内容如下：
对于任何采用L2正则化的线性模型，其目标函数形式为：
$mi{n}_w{\sum }_{i=1}^{n}err(y_i,w^T{x}_i)+\lambda w^{T}w$，那么其最优解可以表示为：$w^{\ast }={\sum }_{i=1}^n{\alpha }_i{x}_i$。证明如下：
我们可以假设最优解$w^{\ast }=w_{\parallel }^{\ast }+w_{\perp }^{\ast }$，其中：
$w_{\parallel }^{\ast }$属于由向量组{ $x_1,x_2,...,x_n$}生成的子空间$span(x_i)$；
$w_{\perp }^{\ast }$属于$span(x_i)$的正交补空间；
那么对于任意训练样本$x_i$：
w ∗ T x i = ( w ∥ ∗ + w ⊥ ∗ ) T x i = w ∥ ∗ T x i w^{*T}x_{i}=(w_{\parallel}^{*}+w_{\perp}^{*})^{T}x_{i}=w_{\parallel}^{*T}x_{i} w∗Txi​=(w∥∗​+w⊥∗​)