STAT313 核密度估计误差分析: 选择核函数

本文原创笔记，禁止转载。有问题可私信找我付费咨询。

$$AMISE(\hat{f}(\cdot ;h_{AMISE}))=\frac{5}{4}({\mu }_2(K{)}^2\Vert f^{\prime \prime }{\Vert }_{L_2}^2\Vert K{\Vert }_{L_2}^8{)}^{\frac{1}{5}}{n}^{-\frac{4}{5}}$$

解释：这个公式表示了AMISE（Asymptotic Mean Integrated Squared Error，渐近均方误差）与核函数 $K$ 的二阶矩 ${\mu }_2(K)$ 和 $L_2$ 范数 $\Vert K{\Vert }_{L_2}$ ，以及原函数 $f$ 的二阶导数的 $L_2$ 范数 $\Vert f^{\prime \prime }{\Vert }_{L_2}$ 之间的关系。

这个公式描述了在渐近情况下估计误差的大小。

---

关键性质

核函数的两个重要性质： ${\mu }_2(K)$ 和 $\Vert K{\Vert }_{L_2}$ 。
这两个性质会直接影响AMISE的大小。

${\mu }_2(K)$ 表示核函数 $K$ 的二阶矩。具体来说，它是核函数关于零点的二阶矩。

$${\mu }_2(K)={\int }_{-\infty }^{\infty }{x}^{2}K(x)dx$$
解释：这个积分计算的是核函数 $K$ 加权后的平方值的总和。它反映了核函数在多大程度上对远离中心点的数据点给予权重。

如果 ${\mu }_2(K)$ 较大，说明核函数对远离中心点的数据点赋予较大的权重。
反之，如果 ${\mu }_2(K)$ 较小，说明核函数主要集中在中心点附近，对远离中心的数据点权重较小。

---

$\Vert K{\Vert }_{L_2}$ 表示核函数 $K$ 的 $L_2$ 范数。 $L_2$ 范数是核函数平方的积分的平方根。

$$\Vert K{\Vert }_{L_2}={\left({\int }_{-\infty }^{\infty }K(x{)}^{2}dx\right)}^{\frac{1}{2}}$$

解释：这个积分计算的是核函数 $K$ 的平方值的总和，然后取平方根。它衡量了核函数的整体大小。

$\Vert K{\Vert }_{L_2}$ 较大，说明核函数的整体幅度较大。
$\Vert K{\Vert }_{L_2}$ 较小，说明核函数的整体幅度较小。

总结

${\mu }_2(K)$ ：核函数的二阶矩，衡量核函数对远离中心点的数据点的权重。
$\Vert K{\Vert }_{L_2}$ ：核函数的 $L_2$ 范数，衡量核函数的整体幅度。
这两个量是选择核函数时需要考虑的重要因素，因为它们直接影响估计的误差。

---

$C(K)=({\mu }_2(K{)}^2\Vert K{\Vert }_{L_2}^8{)}^{\frac{1}{5}}$

解释：这个定义简化了公式，使得AMISE的表达更加简洁。 $C(K)$ 是一个衡量核函数 $K$ 效率的指标。

$$AMISE(\hat{f}(\cdot ;h_{AMISE}))=C(K)\frac{5}{4}\Vert f^{\prime \prime }{\Vert }_{L_2}^2{n}^{-\frac{4}{5}}$$

解释：将 $C(K)$ 代入后，AMISE公式可以更清楚地看出核函数的选择对误差的影响。

选择最佳核函数：
核函数 $K$ 的效率由 $C(K)$ 决定。
最佳核函数：选择 $C(K)$ 最小的核函数，即效率最高的核函数。

---

1. 核函数 (K) 的选择：
   要最小化 $C(K)$ 并且满足以下假设：
   $${\int }_{\mathbb{R}}K(x)dx=1,$$

$${\int }_{\mathbb{R}}xK(x)dx=0,$$

$${\int }_{\mathbb{R}}{x}^{2}K(x)dx<\infty .$$
解释：

• 第一个条件：核函数 $K(x)$ 的积分为1，确保 $K(x)$ 是一个有效的概率密度函数。
• 第二个条件：核函数关于 $x$ 的加权积分为0，确保核函数对称。
• 第三个条件：核函数的二阶矩有限，确保核函数对数据点的影响不至于过大。

Epanechnikov核函数：
满足上述条件并且最小化 $C(K)$ 的核函数被称为 Epanechnikov核。
K ∗ ( x ) = 3 4 ( 1 − x 2 ) 1 { ∣ x ∣ < 1 } . K^*(x) = \frac{3}{4}(1 - x^2)1\{|x| < 1\}. K∗(x)=43​(1−x2)1{∣x∣<1}.

解释：
这个核函数在 $[-1,1]$ 区间内是一个抛物线，在区间外为0。
$\frac{3}{4}(1-x^2)$ 表示在 $|x|<1$ 时，函数值随着 $x$ 的平方减少而减少。

图示：
PPT中的图示展示了 Epanechnikov核函数的形状。
可以看到，核函数在区间 $[-1,1]$ 内呈现抛物线形状，中心点的值最大，边缘值为0。

小结

Epanechnikov核函数在统计学和核密度估计中是一个非常重要的核函数，因为它在满足必要条件的同时最小化了 $C(K)$ ，从而提供了最佳的估计效果。

列出了几种常用的核函数以及它们的效率，效率用 $(C(K^{\ast })/C(K){)}^{\frac{5}{4}}$ 来度量。
解释：

• Epanechnikov核函数的效率为1，是效率最高的核函数。
• Cosine核函数的效率非常接近1，仅次于Epanechnikov核函数。 其他核函数的效率略低于Epanechnikov核函数，但都在可以接受的范围内。

虽然Epanechnikov核函数是最优的，但使用其他核函数并不会导致明显的效率损失。

Epanechnikov核函数在AMISE（渐近均方误差）最优的前提下，仅适用于二次可微函数。这意味着在实际应用中，如果函数不满足二次可微条件，Epanechnikov核函数可能并不是最优选择。