统计学习中的Kernel Function——【Kernel density estimation】【Kernel Regression】

统计学习中的Kernel Function

0.引入

假设随机变量$X$来自某个未知分布$F(X)$ , 我们有一组$X$的抽样观测: $x_1,...x_n$ .
我们的问题是: 该如何估计它背后密度函数$f(x)$ ?

1. Kernel density estimation(无监督学习)

1.1思想

我们已经假设分布函数为$F(x)$ ， 密度函数为$f(x)$.
估计$F(x)$的朴素想法就是用样本的经验分布$F_n(x)$去估计$F(x)$,这是因为 根据格里文科定理,我们知道 当样本容量$n\to \infty$时，$F_n(x)$以概率1 一致收敛于$F(x)$.

根据定义, $F_n(x)=\frac{1}{n}{\sum }_{i=1}^{n}I(x_i\le x)$

下面考虑我们的估计目标$f(x)$ , 我们知道密度函数是分布函数的导数, 自然地我们有:$$f(x)=li{m}_{h\to 0\frac{F(x+h)-F(x-h)}{2h}}$$

将$F(x)$的估计$F_n(x)$带入: $$f(x)\approx \frac{F_n(x+h)-F_n(x-h)}{2h}=\frac{\frac{1}{n}{\sum }_{i=1}^{n}I(x-h\le xi\le x+h)}{2h}=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}\frac{1}{h}I(x-h\le x_i\le x+h)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}\frac{1}{h}I(-1\le \frac{x_i-x}{h}\le 1)=\frac{1}{n}\underset{i=1}{}$$