多维核密度估计

多元核密度估计

承接上一篇文章,接着讨论多维随机变量情况下的核密度估计。

定义

给定一组样本 X = { x 1 , x 2 , ⋯   , x n } \bm{X}=\{ \bm{x}_1,\bm{x}_2,\cdots,\bm{x}_n \} X={x1​,x2​,⋯,xn​}且都是$d$维的向量,并且取自同一个连续分布$f(\mathbf{x})$,则在任意点$\mathbf{x}$处的核密度估计为:
$$\widehat{f_h(\mathbf{x})}=\frac{1}{n}\sum _{i=1}^n\frac{1}{h^d}K\left(\frac{\mathbf{x}-{\mathbf{X}}_{\mathbf{i}}}{h}\right)$$
$f(\mathbf{x})$是一个$d$维随机变量的密度函数.$K(\cdot )$是定义在$d$维空间上的核函数,即$K:{\mathbb{R}}^d\to {\mathbb{R}}_{+}$,并满足：
$$K(\mathbf{x})⩾0,\int K(\mathbf{x})\mathrm{d}\mathbf{u}=1.$$
更一般的形式有:
$$\widehat{f_h(\mathbf{x})}=\frac{1}{n}\sum _{i=1}^n\frac{1}{h_1\cdot \cdots \cdot h_n}K\left(\frac{{\mathbf{x}}_1-{\mathbf{X}}_1}{h_1},\cdots ,\frac{{\mathbf{x}}_n-{\mathbf{X}}_n}{h_n}\right)$$
最一般的形式有:
f H ^ ( x ) = 1 n ∑ i = 1 n 1 d e t ( H ) K { H − 1 ( x − X i ) } \hat{f_\bold{H}}(\bm{x})=\frac{1}{n} \sum_{i=1}^n \frac{1}{\rm{det}(\bold{H})}K\{ \bold{H}^{-1}(\bm{x}-\bm{X}_i) \} fH​^​(x)=n1​i=1∑n​det(H)1​K{H−1(x−Xi​)}
其中$\mathbf{H}$是对称的窗宽矩阵.

核函数的类型

设随机变量 u = { u 1 , ⋯   , u d } T \bm{u}=\{ u_1,\cdots,u_d\}^{\rm{T}} u={u1​,⋯,ud​}T

• 乘积核
  $$K(\mathbf{u})=K(u_1)\cdot \dots \cdot K(u_d)$$
• 放射或对称核
  $$K(\mathbf{u})=\frac{K(\Vert \mathbf{u}\Vert )}{{\int }_{{\mathbb{R}}^d}K(\Vert \mathbf{u}\Vert )d\mathbf{u}}其中(\Vert \mathbf{u}\Vert \stackrel{定义}{=}\sqrt{{\mathbf{u}}^{\mathrm{T}}\mathbf{u}})$$
  

最优窗宽

参照一维条件下的最优窗宽选择办法,对高维情况采用多维泰勒展开,有:
$$\mathrm{B}\mathrm{i}\mathrm{a}\mathrm{s}\approx \frac{1}{2}{h}^2\alpha {\nabla }^{2}f(\mathbf{x}),\mathrm{V}(\widehat{\mathrm{f}(\mathbf{x})})\approx {\mathrm{n}}^{-1}{\mathrm{h}}^{-\mathrm{d}}\beta \mathrm{f}(\mathrm{x})$$
其中$\alpha =\int {\mathbf{x}}^{2}K(\mathbf{x})dx,\beta =\int K({\mathbf{x}}^2)d\mathbf{x}$.因此可以得到渐进积分均方误:
$$\mathbf{A}\mathbf{M}\mathbf{I}\mathbf{S}\mathbf{E}=\frac{1}{4}{h}^4{\alpha }^2\int {\nabla }^{2}f(\mathbf{x})d\mathbf{x}+n^{-1}{h}^{-h}\beta .$$
由此最优窗宽为:
$$h_{opt}={\left\{d\beta {\alpha }^{-2}\left(\int {\nabla }^{2}f(\mathbf{x})\mathrm{d}\mathbf{x}\right)\right\}}^{1/(d+4)}{n}^{-1/(d+4)}$$
由于上述$f(\mathbf{x})$是未知的,当采用多维正态分布密度函数$\Phi (\mathbf{x})$时,最优窗口为:
$$h_{opt}=T(K)n^{-1/(d+4)}$$
其中$T(K)={\left\{d\beta {\alpha }^{-2}\left(\int {\nabla }^2\Phi (\mathbf{x})\mathrm{d}\mathbf{x}\right)\right\}}^{1/(d+4)}$.
对于$T(K)$,在知道估计中的核函数类型后,可以计算出来,并得到最优窗宽$h_{opt}$.以下给出不同核函数的$T(K)$:

$Kernel$	$d$	$T(K)$
$K_n$高斯核	2	1
$K_n$高斯核	d	{ 4 / ( d + 2 ) 1 / ( d + 4 ) } \{4/(d+2)^{1/(d+4)}\} {4/(d+2)1/(d+4)}
$K_e$(Epanechinikow)	2	2.40
$K_e$(Epanechinikow)	d	{ 8 c d − 1 ( d + 4 ) ( 2 π ) } 1 / ( d + 4 ) \{8c_d^{-1}(d+4)(2\sqrt{\pi}) \}^{1/(d+4)} {8cd−1​(d+4)(2π ​)}1/(d+4)
$K_2$二次	2	2.78
$K_3$三次	2	3.12