2021-05-17

Task03:异常检测——线性相关方法

一、回归模型

         回归模型按照自变量个数分为一元回归和多元回归，按照影响是否先行分为先行回归和非线性回归模型。回归分析是广泛应用的统计分析方法，可用于分析自变量和因变量的影响关系（通过自变量来求因变量）,也可以分析自变量对因变量的影响方向（正向影响、还是负向影响）。

2.1 回归模型的优缺点

（1）回归分析的优点是数据模式和结果便于理解，如线性回归用y=ax+b的形式表达，在解释和理解自变量与因变量的关系式性对容易；在基于函数公式的业务应用中，可以直接使用代入法求解。因此应用起来比较容易。

（2）线性回归的缺点是只能分析少量变量之间的相关关系，处理高维变量间的相互作用关系，尤其是变量共同因素对因变量的影响程度时无法处理。

       在应用回归模型时，应注意识别和解决自变量间的共线性问题。

 2.2 回归模型的异常监测思路    

异常值是根据其他自变量对因变量的影响来定义的，而自变量之间相互关系中的异常则不那么重要。这里的异常点检测主要用于数据降噪，避免异常点的出现对模型性能的影响，因而这里关注的兴趣点主要是正常值(n)。而我们通常所说的异常检测中并不会对任何变量给与特殊对待，异常值的定义是基于基础数据点的整体分布，这里我们关注的兴趣点主要是异常值(o)。

2.3 回归模型的评估

拟合值和实际观测值之间的差值被称为训练误差或者残差，其表达式如下：

每个残差都是观测值中不可预测的部分。
残差项有两个非常有用的性质：

从以上两式可以明显看出：残差的均值为零；残差项和预测变量之间相关性为零。（当模型中没有截距项时，零相关假设不一定成立。）

在选择回归变量并拟合回归模型之后，有必要绘制残差图以检查模型的假设是否已经满足。此外应该生成一系列图表，以检查拟合模型的不同方面和基本假设是否成立。