1. LOWESS
用kNN做平均回归:
\[\hat{f(x)} = Ave(y_i | x_i \in N_k(x)) \]
其中,\(N_k(x)\)为距离点x最近k个点组成的邻域集合(neighborhood set)。这种邻域平均回归存在很多缺点:
- 没有考虑到不同距离的邻近点应有不同的权重;
- 拟合的曲线不连续(discontinuous),如下图。
因此引入kernel加权平滑:
\[\hat{f(x_0)} = \frac{ \sum_{i=1}^{N} K_{\lambda}(x_0, x_i)y_i }{\sum_{i=1}^{N} K_{\lambda}(x_0, x_i)} \]
比如,Epanechnikov 二次kernel:
\[K_{\lambda}(x_0, x_i) = D(\frac{|x_0 - x_i|}{\lambda}) \]
\[D(t) = \left \{ { \matrix { {\fra