回归分析系列22— 稳健回归

23章 稳健回归

23.1 简介

稳健回归是一种在数据中存在异常值或噪声时，依然能够提供合理估计的回归方法。传统的线性回归对异常值非常敏感，因为它最小化的是平方误差。这意味着大的离群点会对回归系数产生很大影响。

23.2 常见的稳健回归方法

稳健回归方法通过对异常值降低权重，或者对损失函数进行修正，以减少这些点对模型的影响。常见的稳健回归方法包括：

1. M估计：通过改变损失函数，使得它对异常值不敏感。
2. RANSAC：随机抽样一致性方法，通过随机选择样本，迭代寻找最佳模型。
3. LAD回归：最小绝对偏差回归，最小化绝对误差，而不是平方误差。

在Python中，我们可以使用scikit-learn中的RANSACRegressor或HuberRegressor来实现稳健回归。

from sklearn.linear_model import HuberRegressor
from sklearn.metrics import mean_absolute_error
import numpy as np

# 生成模拟数据，添加异常值
np.random.seed(42