支持向量机 6 密度估计的方法

6 密度估计的方法

# 本节内容中约束条件需要由某些一致性定理保证，这里没有给出。

SVM用于密度估计问题

密度估计问题可以表述为：
求解概率密度
$$p(t,a):{\int }_{-\infty }^{x}p(t,\alpha )dt=F(x)$$
已知 $(x_i)$ 为 满足 $F(x)$ 分布的随机独立样本集，并据此可给出经验分布函数
$$F_l(x)=\frac{1}{l}\sum _{i=1}^l\theta (x-x_i)$$
$\theta$ 为阶跃函数。

考虑使用一致度量来定义概率分布与经验分布之间的距离
$$\rho (F(x),F_l(x))=\underset{x}{\sup }|F(x)-F_l(x)|$$
由某再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)的模定义正则化泛函
$$\Omega (f)=(f,f{)}_H$$
首先先构造RKHS。设有对称正定核
$$K(x,y)=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(x){\varphi }_i(y)$$
定义的希尔伯特空间H的内积 $(f,g{)}_H$ 需要满足再生特性
$$(f(x),K(x,y){)}_H=f(y),\forall f\in H$$
考虑函数集
$$f(x,c)=\sum _{i=1}^{\infty }{c}_i{\varphi }_i(x)$$
及定义在其上的内积
$$(f(x,c),f(x,d){)}_H=\sum _{i=1}^{\infty }\frac{c_i{d}_i}{{\lambda }_i}$$
有
$$(f(x,c),K(x,y){)}_H=(f(x,c),f(x,{\lambda }_i{\varphi }_i(y)){)}_H=\sum _{i=1}^{\infty }\frac{c_i{\lambda }_i{\varphi }_i(y)}{{\lambda }_i}=f(y)$$
因此上述定义满足再生特性，$f,K,(f,g{)}_H$ 构成了RKHS。
寻找如下形式解
$$f(x)=\sum _{i=1}^l{\beta }_{i}K(x_i,x)=\sum _{k=1}^{\infty }\sum _{i=1}^l{\beta }_i{\lambda }_k{\varphi }_k(x_i){\varphi }_k(x),{\beta }_i\ge 0$$
使用方法P(Phillips 残差方法, 1962)解决密度估计问题，即最小化泛函
$$\Omega (f)=$$