LOESS（Locally Estimated Scatterplot Smoothing）

LOESS（Locally Estimated Scatterplot Smoothing），即局部加权回归，是一种非参数回归方法。它结合了局部多项式拟合和加权回归，用于平滑数据，特别适合处理具有非线性关系的散点数据。

LOESS的核心思想是：对于每一个待估点，它在该点附近的一个邻域内拟合一个低阶（通常是一阶或二阶）的多项式，并使用该多项式来估计该点的值。为了使得拟合能够较好地捕捉局部结构，LOESS使用加权最小二乘法，即对于邻域中的每个点赋予一个权重，权重随着点与待估点的距离增加而减小。

LOESS 原理详解：

1. 局部加权回归：
   对于每一个数据点$x_i$，我们在它的一个邻域内选择一组数据点。这些点用于拟合一个局部的多项式。为了使得较近的点对拟合有更大的影响，LOESS为每个点赋予不同的权重，权重函数通常选择三角形核函数或高斯核函数。

2. 加权函数：
   常见的权重函数之一是三角形核函数，定义为：
   $$w(x_i,x_j)=(1-{\left(\frac{|x_i-x_j|}{d(x_i)}\right)}^3{)}^3$$
   其中，$d(x_i)$是距离$x_i$的某个固定邻域范围，称为“窗口宽度”或“平滑参数”（span）。当$x_j$超出邻域范围时，权重为零。

3. 局部多项式拟合：
   在每个局部邻域中，使用加权最小二乘法拟合一个低阶多项式。通常选择一阶线性模型或者二阶的二次模型。通过最小化加权残差平方和，得到局部的多项式参数。

4. 迭代：
   对于每个待估点，都要重复进行局部加权回归。最终得到的估计值是由拟合的局部多项式给出的。

LOESS 的优点：

• 适应性强：LOESS 可以适应各种复杂的非线性关系。
• 局部性：它只在局部区域内进行回归，能够很好地捕捉局部数据特征。
• 加权回归：通过加权，LOESS赋予了较近数据点更大的权重，能有效减小噪声的影响。

LOESS 的缺点：

• 计算复杂度高：对于每个估计点，都需要进行一次局部回归，计算量较大，尤其当数据集很大时。
• 对高维数据不适用：LOESS主要用于一维或二维数据，高维数据中，局部加权回归的效果和效率都会大打折扣。

Python 实现代码：

我们可以使用 statsmodels 或 scikit-learn 等库来实现 LOESS。下面是一个基于 statsmodels 实现 LOESS 平滑的代码示例。

import numpy as np
import matplotlib.pyplot as plt
import statsmodels.api as sm

# 生成一些示例数据
np.random.seed(0)
x = np.linspace(0, 10, 100)
y = np.sin(x) + np.random.normal(0, 0.3, size=x.shape)

# LOESS 平滑，使用低阶多项式拟合
lowess = sm.nonparametric.lowess
# frac 参数表示平滑参数，决定了使用多少比例的数据用于拟合
y_smooth = lowess(y, x, frac=0.2)

# 绘制原始数据和LOESS平滑后的曲线
plt.scatter(x, y, label="Original Data", color='gray', alpha=0.6)
plt.plot(y_smooth[:, 0], y_smooth[:, 1], label="LOESS Smoothed", color='red', lw=2)
plt.legend()
plt.xlabel("X")
plt.ylabel("Y")
plt.title("LOESS Smoothing")
plt.show()

代码说明：

1. 我们首先生成了一些带有噪声的正弦波数据。
2. statsmodels 库提供了 lowess 函数，用于进行 LOESS 平滑。frac 参数控制平滑程度，它表示每个点的局部回归要使用多少比例的数据。较大的 frac 值意味着更平滑的曲线，而较小的值则会更加贴近数据。
3. 绘制了原始数据和经过 LOESS 平滑后的曲线。

通过调整 frac 参数，你可以控制平滑的强度，进而适应不同的非线性数据。