异常检测：Leverage of observation

Leverage杠杆是一个指标，描述了样本对模型的影响程度
高杠杆点本质是一种离群点，但是它不同于普通离群点，和拟合直线比较远，而是离开群体远，却在拟合直线附近。为了，拟合得更好，拟合直线需要靠近这点以减少拟合误差。这样导致了直线偏离了其他的点，这点相当于一个支点。个人认为这是杠杆的由来。

$$\begin{gathered} y=X\beta +ϵ,X\in {\mathbb{R}}^{m\times n},y\in {\mathbb{R}}^{m\times 1},ϵ\sim N(0,{\sigma }^2) \\ \hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y \end{gathered}$$
$$\hat{y}=X\hat{\beta }=X(X^{T}X{)}^{-1}{X}^{T}y=Hy=\sum _{i=1}^m(h_{ci}{y}_i)$$
$H$是正交投影矩阵，符合$H^2=H$,$h_{ci}$表示H的第i列，类似地，用$h_{ri}^T$表示H的第i行,$h_{ij}$表示H的一个元素

$h_{i,j}=x_i^T(X^{T}X{)}^{-1}{x}_j$，反应了样本i和样本j之间的影响

$$\begin{gathered} \widehat{y_i}=h_{ri}^{T}y=\sum _{j=1}^m(h_{ij}{y}_j) \\ \frac{\partial \widehat{y_i}}{\partial y_i}=h_{ii} \end{gathered}$$

$$\begin{gathered} e=y-\hat{y} \\ Var(e)=Var(y-\hat{y})=Var((I-H)y)=(I-H{)}^{T}Var(y)(I-H)={\sigma }^2(I-H) \end{gathered}$$

得到$Var(e_i)=(1-h_{ii}){\sigma }^2$

显然,$h_{ii}$越大，噪声越小
经过上面的分析可以知道，$h_{ii}=x_i^T(X^{T}X{)}^{-1}{x}_i$

这里的意义在哪里呢，先理解$\hat{y}=X(X^{T}X)X^{T}y$的意义

$SVD(X)=U\Sigma V^T$，U代表X的列空间，V代表了行空间
$y=\hat{y}+y\perp Col(X)$，y分解平行与列空间$Col(X)$和正交于$Col(X)$的部分
$\hat{y}$属于$Col(X)$，$r=Rank(X)$,则可以表示为$\hat{y}={\sum }_{i=1}^r{\alpha }_i{u}_i$
经过$X^{T}y$，发生两个作用

1. $X^{T}y$ 的意义在于去掉y中属于$X^T$的NULL空间的成分
2. y中不同的特征向量成分经过不同的拉伸，导致$\hat{y}$变形，为了克服这个问题，加入了$X(X^{T}X{)}^{-1}$，作为逆变换，将拉伸的部分还原回去。
   展开下式就明白了
   $$X(X^{T}X{)}^{-1}{X}^T=U\Sigma V^T(V{\Sigma }^{-2}{V}^T)V\Sigma U^T=U\left[\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right]U^T$$
   就是保留平行于$Col(X)$的成分，同时不做拉伸

再看看
$$h_{ii}=x_i^T(X^{T}X{)}^{-1}{x}_i$$
类似地，有$x_i={\sum }_{i=1}^r{\theta }_i{v}_i$

$$h_{ii}=x_i^T(V{\Sigma }^{-2}{V}^T)x_i$$
假设$p=||x_i||=sqrt({\sum }_{i=1}^r{\theta }_i^2)$
$$h_{ii}=\sum _{i=1}^r({\theta }_i/{\lambda }_i{)}^2$$
${\lambda }_1^2>=\cdots >={\lambda }_r^2$为X的奇异值

可以发现，令${\theta }_i$变大后，会导致p变大，$h_{ii}$也会变大，只是变得幅度跟对应的
${\lambda }_i$成反比。得出的结果是，在主成分方向，由于${\lambda }_i$比较大，$h_{ii}$变大的幅度比较慢，反之，变化较快。
studentized residual

$$t_i=\frac{e_i}{\hat{\sigma }\sqrt{1-h_{ii}}}$$
可见，具有大的$h_{ii}$的样本具有放大残差的能力。所以为了减少总体的残差了，模型偏向于去减少这些样本的残差，从而导致了所谓杠杆效应。

参考
https://en.wikipedia.org/wiki/Leverage_(statistics)
https://www.zhihu.com/question/36224636/answer/66618532