The Representer Theorem——表示定理

最新推荐文章于 2025-03-21 14:42:36 发布

凌空的桨

最新推荐文章于 2025-03-21 14:42:36 发布

阅读量5.5k

点赞数 1

分类专栏：表示定理文章标签：表示定理

表示定理专栏收录该内容

1 篇文章

订阅专栏

节选自Learning with Kernels的4.2节

$\Omega$ 是一个严格单调递增函数，c是任意损失函数。则每一个正则化风险（regularized risk）

$c\left ( \left ( x_{1},y_{1} ,f\left (x_{1} \right ), ... ,\left ( x_{m},y_{m} ,f\left (x_{m} \right )\right ) \right )+\Omega \left ( \left \| f \right \|_{\mathcal{H}} \right )$ 的最小值满足下面的表达式

$f\left ( x \right )=\sum^{m}_{i=1}\alpha {_{i}}k\left ( x{_{i}},x \right )$

损失函数c最原始的形式其实是均方损失函数

$c\left ( \left ( x_{1},y_{1} ,f\left (x_{1} \right ), ... ,\left ( x_{m},y_{m} ,f\left (x_{m} \right )\right ) \right )$

$=\frac{1}{m}\sum_{i=1}^{m}\left ( y{_{i}}-f\left ( x{_{i}} \right ) \right )^{{2}}$

证明：我们可以将任何 $f\in \mathcal{H}$ 分解为各个核函数分量形式与正交补的和

$f\left ( x \right )=f{_{||}}\left ( x \right )+f{_{\perp }}\left ( x \right ) =\sum_{i=1}^{m}\alpha _{i}k\left ( x_{i},x \right )+f{_{\perp }}\left ( x \right )$

这里的 $\alpha _{i}\in \mathbb{R}, f\in \mathcal{H}$

且 $\left \langle f _{\perp },k\left ( x_{i},\cdot \right ) \rangle=0$

而

$f\left ( x _{j}\right )=\left \langle f\left ( \cdot \right ),k\left ( x_{j} ,\cdot \right ) \right \rangle=\sum_{i=1}^{m}\alpha _{i}k\left ( x_{i},x_{j} \right )+\left \langle f_{\perp } \left ( \cdot \right ),k\left ( x_{j} ,\cdot \right )\right \rangle_{\mathcal{H}}=\sum_{i=1}^{m}\alpha _{i}k\left ( x_{i},x_{j} \right )$

因为

$\Omega \left ( \left \| f \right \| _{\mathcal{H}}\right )=\bar{\Omega}\left ( \left \| \sum_{i}^{m}\alpha _{i}k\left ( x_{i} ,\cdot \right )\right \| _{\mathcal{H}}^{2}+\left \| f_{\perp } \right \|_{\mathcal{H}}^{2}\right )\geqslant \bar{\Omega}\left ( \left \| \sum_{i}^{m}\alpha _{i}k\left ( x_{i} ,\cdot \right )\right \| _{\mathcal{H}}^{2}\right )$