常用的衡量线性回归效果的评价指标:
直线拟合所有点的好坏程度，可以用“R方”来评估。
R-squared
结论： R 2 ≤ 1 \mathbf{R^2\leq1} R2≤1，且R方越接近1越好！
原理：假设模型预测结果为 y ^ \hat{y} y^，真实结果为 y y y，真是结果的平均数为 y ˉ \bar{y} yˉ:
R
2
=
1
−
∑
i
(
y
^
i
−
y
i
)
2
∑
i
(
y
ˉ
−
y
i
)
2
R^2 = 1-\frac{\sum_i {(\hat{y}_{i}-{y}_{i})^2 } } {\sum_i {(\bar{y}-{y}_{i})^2 }}
R2=1−∑i(yˉ−yi)2∑i(y^i−yi)2
分子：模型预测产生的错误
分母：假设有一个标准模型，预测出来的值为真实值的平均数（最基准的模型 Baseline Model）
-
最理想的情况是所有点都落在线上，即：
对于每一点 x i x_i xi， y i ^ = y i \hat{y_i}=y_i yi^=yi，此时，分子为0， R 2 = 1 R^2=1 R2=1 -
当 y i ^ \hat{y_i} yi^ 的平均数 = y ˉ \bar{y} yˉ 时，分子=分母， R 2 = 0 R^2=0 R2=0
即这里 y 1 ^ + y 1 ^ + y 1 ^ 3 = y 1 + y 2 + y 3 3 \frac{\hat{y_1}+\hat{y_1}+\hat{y_1}}{3}=\frac{y_1+y_2+y_3}{3} 3y1^+y1^+y1^=3y1+y2+y3 -
拟合程度特别差，直线远离所有的点，分子无限大
所以这里分子是一定≥分母的， R 2 ∈ ( − ∞ , 1 ] R^2\in(-\infty, 1] R2∈(−∞,1]，且越接近1越好。
PS： 分子称为RSS残差平方和，分母为TSS平方和
调整R方(Adjested R-square)
结论：
0
≤
R
a
d
j
u
s
t
e
d
2
≤
1
0\leq \mathbf{R^2_{adjusted}\leq1}
0≤Radjusted2≤1，且越接近1越好！
当有n个样本，p为特征数量，
R
a
d
j
u
s
t
e
d
2
=
1
−
(
1
−
R
2
)
(
n
−
1
)
n
−
p
−
1
R^2_{adjusted} = 1-\frac{(1-R^2)(n-1)}{n-p-1}
Radjusted2=1−n−p−1(1−R2)(n−1)
当增加特征数量时， R 2 R^2 R2 增加。因为
加入的有效特征越多，对因变量Y的描述也就越细致，自然，方程预测的准确性就越高，也就是说增加特征会让回归函数拟合得更好。
特征越多，自变量集合元素越多，自变量集合对因变量的解释程度越高，几何上表现为样本点在回归直线附近越密集，即拟合度越好，R方越大。
- 当增加特征数量时，
R
2
R^2
R2 没有显著增加，调整
R
2
R^2
R2变小
- 当增加特征数量时，
R
2
R^2
R2 显著增加，调整
R
2
R^2
R2变大
2243
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
