异常点VS高杠杆点VS强影响点（Outlier，High Leverage Point，Influential Point）

最新推荐文章于 2023-11-28 16:39:59 发布

小瓶盖的猪猪侠

最新推荐文章于 2023-11-28 16:39:59 发布

阅读量7.5k

点赞数 11

分类专栏：数据科学文章标签：逻辑回归

本文链接：https://blog.csdn.net/qq_29983883/article/details/116397468

版权

数据科学专栏收录该内容

15 篇文章 1 订阅

订阅专栏

定义

异常点（Outlier）：残差很大的点（即：因变量y的值是极端值的观测值）
高杠杆点（High Leverage Point）：远离样本空间中心的点（即：自变量x的值是极端值的观测值）
强影响点（Influential Point）：对模型有较大影响的点，如果删除该点能改变拟合回归方程

注意：

1，异常点不一定是强影响点，强影响点也不一定是异常点
2，高杠杆点不一定是强影响点，强影响点也不一定是高杠杆点

异常点

在这里插入图片描述

虚线和实线分别是包含红点在内和不包含红点在内训练出来的回归模型。可以看到，两条回归线之间相差不大，因此，该红点不是强影响点。

同时，该红点并没有离其他自变量的值很远，因此也不是高杠杆点。但是它离回归线很远（残差大），因此该红点是异常点。

高杠杆点

在这里插入图片描述

虚线和实线分别是包含红点在内和不包含红点在内训练出来的回归模型。可以看到，两条回归线之间相差不大，因此，该红点不是强影响点。

同时，该红点离回归线不远，因此也不是异常点。但是它离其他自变量的值很远，因此该红点是高杠杆点。

强影响点

在这里插入图片描述

虚线和实线分别是包含红点在内和不包含红点在内训练出来的回归模型。可以看到，两条回归线之间相差较大，因此，该红点是强影响点。

同时，该红点离其他自变量的值较远，因此是高杠杆点。它离回归线也很远（残差大），因此该红点也是异常点。

判断是否是异常点

（1）标准化残差（standardized residuals）：在这里插入图片描述
相对于普通残差来说，消除了量纲的影响。如果标准化残差的绝对值>3，该观测值即判定为异常值

（2）学生化残差（studentized residuals）：
在这里插入图片描述
对于标准化残差，还去除了高杠杆值的影响。如果学生化残差的绝对值>3，该观测值即判定为异常值。

判断是否是高杠杆点

如果帽子统计量大于平均帽子值的3倍，那么可以判断该观测值是高杠杆点。
在这里插入图片描述

H被称为帽子矩阵，因为其相当于给y戴上了一顶帽子来预测y的值。 $h_{ij}$ 是权重，当 $h_{ij}$ 较大时，说明第 $j$ 个观测值对第 $i$ 个拟合值有较大的影响。

判断是否是强影响点

在这里插入图片描述

实战

import pandas as pd
import numpy as np
from sklearn import model_selection
import statsmodels.api as sn

sdata = pd.read_csv("../input/traindatas/char7/Predict to Profit.csv")
#print(sdata.head())

train,test = model_selection.train_test_split(sdata,test_size = 0.2,random_state = 1234)
mode = sn.formula.ols("Profit~RD_Spend +Administration + Marketing_Spend+C(State)",data=train).fit()

outliers = mode.get_influence()
leverage = outliers.hat_matrix_diag

dffits = outliers.dffits[0]

resid_stu = outliers.resid_studentized_external

cook = outliers.cooks_distance[0]

print(sdata.columns)

pr = train.loc[:,['RD_Spend', 'Administration', 'Marketing_Spend', 'State']]
pr.index = range(pr.shape[0])
pr['cook'] = pd.Series(cook)
pr['resid_stu'] =pd.Series(resid_stu)
pr['dffits'] =pd.Series(dffits)
pr['leverage'] = pd.Series(leverage)
print(pr.columns)
print(pr.loc[:,['Marketing_Spend', 'State', 'cook',
       'resid_stu', 'dffits', 'leverage']])

Index(['RD_Spend', 'Administration', 'Marketing_Spend', 'State', 'Profit'], dtype='object')
Index(['RD_Spend', 'Administration', 'Marketing_Spend', 'State', 'cook',
       'resid_stu', 'dffits', 'leverage'],
      dtype='object')
    Marketing_Spend       State      cook  resid_stu    dffits  leverage
0         201126.82     Florida  0.068436   1.816348  0.662739  0.117491
1          35534.17    New York  0.022867   0.857159  0.368913  0.156286
2         282574.31    New York  0.007137  -0.579571 -0.204848  0.111052
3         229160.95     Florida  0.026777   1.101083  0.402113  0.117675
4         299737.29    New York  0.016770  -0.701793 -0.314755  0.167467
5         298664.47  California  0.000438   0.146877  0.050496  0.105705
6         303319.26     Florida  0.010295  -0.769609 -0.246995  0.093381
7         443898.53  California  0.030914   0.766112  0.427972  0.237843
8          46085.25  California  0.014879  -0.731151 -0.296674  0.141368
9         297114.46     Florida  0.107106  -1.305513 -0.810158  0.278032
10        353183.81    New York  0.046211  -1.206906 -0.530189  0.161764
11        210797.67  California  0.041713   1.016371  0.500526  0.195184
12        137962.62  California  0.003120   0.408034  0.135089  0.098782
13        214634.81     Florida  0.005810  -0.581160 -0.184823  0.091850
14        471784.10    New York  0.006976   0.394700  0.201959  0.207490
15        249744.55  California  0.020788   0.920375  0.352352  0.127828
16        323876.68     Florida  0.009824  -0.619459 -0.240510  0.130997
17        383199.62    New York  0.055789   1.477126  0.588829  0.137118
18        197029.42  California  0.018076  -0.561927 -0.325891  0.251691
19        127716.82  California  0.016905  -0.567816 -0.315197  0.235557
20        407934.54     Florida  0.063940   1.239273  0.624393  0.202458
21        205517.64    New York  0.005906   0.483170  0.186040  0.129114
22          1903.93    New York  0.137454   1.977724  0.947356  0.186631
23        304981.62  California  0.014797  -0.802036 -0.296348  0.120126
24        264346.06  California  0.024965   1.247048  0.390270  0.089204
25        362861.36    New York  0.020919  -0.872668 -0.352998  0.140616
26        118148.20     Florida  0.000151  -0.053932 -0.029673  0.232369
27        172795.67  California  0.000437   0.139047  0.050429  0.116244
28        174999.30  California  0.018759  -0.854749 -0.334119  0.132547
29         91131.24     Florida  0.008397  -0.546958 -0.222068  0.141514
30        134050.07     Florida  0.026656  -1.082497 -0.400963  0.120648
31        164470.71     Florida  0.001221  -0.205803 -0.084341  0.143796
32        304768.73     Florida  0.003420  -0.421431 -0.141457  0.101258
33        261776.23    New York  0.090686  -2.436406 -0.790889  0.095328
34        140574.81    New York  0.028772  -1.061846 -0.416294  0.133225
35        249839.44     Florida  0.031618   1.455359  0.442868  0.084752
36        185265.10    New York  0.062287   1.196744  0.615316  0.209085
37             0.00    New York  0.025039   0.624172  0.383998  0.274566
38             0.00  California  0.051040  -1.180349 -0.556679  0.181956