【AI知识点】R²（决定系数）

最新推荐文章于 2025-03-12 10:46:31 发布

AI完全体

最新推荐文章于 2025-03-12 10:46:31 发布

阅读量2.5k

点赞数 26

分类专栏： AI知识点文章标签：人工智能机器学习 kaggle 比赛统计学回归模型

本文链接：https://blog.csdn.net/weixin_43221845/article/details/145457486

版权

AI知识点专栏收录该内容

68 篇文章

订阅专栏

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】【读书与思考】

因为 ChatGPT 和 deepseek 的解释各有千秋，我就都贴上了

ChatGPT（4o）

R²（决定系数）简介

R²（决定系数，Coefficient of Determination） 是衡量回归模型预测能力的重要指标，表示模型能够解释目标变量变化的比例。R² 值的范围通常在 $[0, 1]$ 之间，值越接近 1，说明模型的拟合效果越好。

数学公式

R² 计算公式如下：
$R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}$
其中：

$y_i$ ：实际值（真实目标变量）。
$\hat{y}_i$ ：模型预测值。
$\bar{y}$ ：目标变量的均值。
$\sum (y_i - \hat{y}_i)^2$ ：模型的残差平方和（SSE, Sum of Squared Errors）。
$\sum (y_i - \bar{y})^2$ ：目标变量的总平方和（TSS, Total Sum of Squares）。

R² 的解读

$R^2 = 1$ ：
- 说明模型完美拟合数据，所有预测值都与真实值完全一致（非常罕见）。
$R^2 = 0$ ：
- 说明模型的预测能力与简单使用均值 $\bar{y}$ 预测效果相同，即模型未能有效解释目标变量的变化。
$R^2 < 0$ ：
- 说明模型的拟合效果比简单使用均值预测还要差，通常表示模型有严重的问题，如欠拟合。
$0 < R^2 < 1$ ：
- 说明模型在一定程度上解释了目标变量的变化，但仍有未解释的部分。

Python 计算 R²

可以使用 sklearn.metrics.r2_score 计算 R²：

from sklearn.metrics import r2_score

# 示例数据
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]

# 计算 R²
r2 = r2_score(y_true, y_pred)
print(f"R²: {r2:.4f}")

调整 R²（Adjusted R²）

在多元回归中，调整 R²（Adjusted R²）比普通 R² 更合理，因为它考虑了自变量的数量，避免因增加变量而导致 R² 人为提高：
$R_{\text{adj}}^2 = 1 - \left( \frac{(1 - R^2) (n - 1)}{n - p - 1} \right)$
其中：

$n$ ：样本数。
$p$ ：自变量个数。

Python 计算 Adjusted R²：

def adjusted_r2(r2, n, p):
    return 1 - ((1 - r2) * (n - 1) / (n - p - 1))

# 示例计算
n = 100  # 样本数
p = 5    # 自变量个数
r2_adj = adjusted_r2(r2, n, p)
print(f"Adjusted R²: {r2_adj:.4f}")

R² 的适用场景

线性回归（如普通最小二乘回归）。
决策树回归、XGBoost、LightGBM 等回归任务。
经济、金融、社会科学 研究中用于衡量变量之间的关系。

R² 的局限性

不能直接反映预测误差的绝对大小，需要结合 RMSE（均方根误差）一起使用。
R² 可能会随着加入更多特征而增大，即使这些特征并没有实际的预测能力。
适用于 线性关系，在非线性模型中不一定是最好的评估指标。

总结

R² 是适用于回归任务的核心衡量指标之一。

R² 衡量模型对目标变量变化的解释程度，范围通常在 $[0, 1]$ 。
高 R² 说明模型能较好地解释数据，但并不代表预测误差低。
在多元回归中，调整 R²（Adjusted R²）更具参考价值。
不能单独依赖 R²，需要结合其他指标（如 RMSE、MAE）进行评估。

deepseek（R1）

R²（决定系数）是评估回归模型拟合优度的核心指标，用于衡量自变量对因变量变异的解释程度。以下是对R²的详细解释：

1. 定义与计算公式

R²表示模型解释的变异占总变异的比例，计算公式为：
$\frac{SSR}{SST} = 1 - \frac{SSE}{SST}$
其中：

总平方和（ $SST$ ）：因变量的总变异，计算为所有观测值与均值的平方差之和：
$\sum_{i=1}^n (y_i - \bar{y})^2$
回归平方和（ $SSR$ ）：模型解释的变异，计算为预测值与均值的平方差之和：
$\sum_{i=1}^n (\hat{y}_i - \bar{y})^2$
残差平方和（ $SSE$ ）：模型未解释的变异，即实际值与预测值的平方差之和：
$\sum_{i=1}^n (y_i - \hat{y}_i)^2$

2. 取值范围与解释

范围：R²通常介于0和1之间。值越接近1，模型解释能力越强。
极端情况：
- $R^{2} = 1$ ：模型完美拟合数据（所有预测值与实际值一致）。
- $R^{2} = 0$ ：模型不优于直接用均值预测因变量。
- 负值：当模型不含截距项或拟合极差时可能出现，表明模型表现不如基线（均值预测）。

3. 数学性质

平方和分解：在线性回归（含截距项）中，满足：
$SST = SSR + SSE$
交叉项求和为零的证明依赖于残差与预测值的正交性。

4. 调整后的R²

为惩罚无关变量的加入，调整后的R²引入自由度调整：
$\text{调整后 } R² = 1 - \frac{SSE/(n-k-1)}{SST/(n-1)} = 1 - (1 - R²) \frac{n-1}{n-k-1}$
其中， $n$ 为样本量， $k$ 为自变量个数。调整后的R²更适用于多元回归模型比较。

5. 应用与局限性

优点：直观反映模型解释变异的比例，适用于线性模型比较。
局限性：
- 过拟合风险：R²随变量增加而上升，可能高估模型性能。
- 非线性关系：仅适用于线性模型，不直接适用于非线性场景。
- 异常值敏感：平方和计算放大异常值影响。
- 跨数据集不可比：因变量变异不同时，R²无法直接比较。