task3 线性回归

---

引言

真实数据集中不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中，这被称为——回归建模，一种参数化的相关性分析。   一类相关性分析试图通过其他变量预测单独的属性值，另一类方法用一些潜在变量来代表整个数据。前者的代表是线性回归，后者一个典型的例子是主成分分析。本文将会用这两种典型的线性相关分析方法进行异常检测。

需要明确的是，这里有两个重要的假设：

假设一：近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论基础。

假设二：子空间假设。子空间假设认为数据是镶嵌在低维子空间中的，线性方法的目的是找到合适的低维子空间使得异常点(o)在其中区别于正常点(n)。

基于这两点假设，在异常检测的第一阶段，为了确定特定的模型是否适合特定的数据集，对数据进行探索性和可视化分析是非常关键的。

---

一、数据可视化

以breast-cancer-unsupervised-ad数据集为例做一些简单的数据可视化。

#coding:utf-8
#导入warnings包，利用过滤器来实现忽略警告语句。
import warnings
warnings.filterwarnings('ignore')
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

## 1) 载入训练集和测试集；
f=open('D:/新建文件夹 5/dataverse_files/breast-cancer-unsupervised-ad.csv')
Train_data = pd.read_csv(f)

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

简略查看数据：

#通过describe()来熟悉数据的相关统计量
Train_data.describe()

#通过info()来熟悉数据类型
Train_data.info()
#在数据IDA处理上，可以事先实现describe（）、info（）查看数据异常值和缺失值。

#相关性分析

numeric_features = ['f' + str(i) for i in range(30)]

numeric = Train_data[numeric_features]
correlation = numeric.corr()

f , ax = plt.subplots(figsize = (10, 10))

sns.heatmap(correlation,square = True)
plt.title('Correlation of Numeric Features with Price',y=1,size=16)
plt.show()

在EDA数据探索分析中，这种数据相关图没有下面各个属性变量相关性可视化的更有效，上面的相关性图存在比较大的偶然性。下面的可视化更加直观，规避了一些偶然性。

#每个数字特征得分布可视化
f = pd.melt(Train_data, value_vars=numeric_features)
g = sns.FacetGrid(f, col="variable",  col_wrap=6, sharex=False, sharey=False)
g = g.map(sns.distplot, "value", hist=False, rug=True)

#变量两两之间的相关性
sns.set()
sns.pairplot(Train_data[numeric_features],size = 2 ,kind ='scatter',diag_kind='kde')
plt.savefig('correlation.png')
plt.show()

#数据降维可视化
from sklearn.manifold import TSNE
tsne = TSNE(n_components=2, init='pca', random_state=0)
result = tsne.fit_transform(numeric)
x_min, x_max = np.min(result, 0), np.max(result, 0)
result = (result - x_min) / (x_max - x_min)
label = Train_data['label']
fig = plt.figure(figsize = (7, 7))
#f , ax = plt.subplots()
color = {'o':0, 'n':7}
for i in range(result.shape[0]):
    plt.text(result[i, 0], result[i, 1], str(label[i]),
                color=plt.cm.Set1(color[label[i]] / 10.),
                fontdict={'weight': 'bold', 'size': 9})
plt.xticks([])
plt.yticks([])
plt.title('Visualization of data dimension reduction')

---

二、线性回归

在线性回归中，我们假设不同维度的变量具有一定的相关性，并可以通过一个相关系数矩阵进行衡量。因此对于特定的观测值，可以通过线性方程组来建模。在实际应用中，观测值的数量往往远大于数据的维度，导致线性方程组是一个超定方程，不能直接求解。因此需要通过优化的方法，最小化模型预测值与真实数据点的误差。

线性回归是统计学中一个重要的应用，这个重要的应用往往是指通过一系列自变量去预测一个特殊因变量的值。在这种情况下，异常值是根据其他自变量对因变量的影响来定义的，而自变量之间相互关系中的异常则不那么重要。这里的异常点检测主要用于数据降噪，避免异常点的出现对模型性能的影响，因而这里关注的兴趣点主要是正常值(n)。

而我们通常所说的异常检测中并不会对任何变量给与特殊对待，异常值的定义是基于基础数据点的整体分布，这里我们关注的兴趣点主要是异常值(o)。

 广义的回归建模只是一种工具，这种工具既可以用来进行数据降噪也可以进行异常点检测。

基于自变量与因变量的线性回归

• 最小二乘法
    为了简单起见，这里我们一元线性回归为例:

$$Y=\sum _{i=1}^d{a}_i\cdot X_i+a_{d+1}$$

变量Y为因变量，也就是我们要预测的值；$X_1...X_d$为一系列因变量，也就是输入值。系数$a_1...a_{d+1}$为要学习的参数。假设数据共包含$N$个样本，第$j$个样本包含的数据为$x_{j1}...x_{jd}$和$y_j$，带入式(1)如下式所示：

$$y_j=\sum _{i=1}^d{a}_i\cdot x_{ji}+a_{d+1}+{ϵ}_j$$

这里${ϵ}_j$为第$j$个样本的误差。以$Y$ 代表 $N\times 1$ 的因变量矩阵${(y_1...y_N)}^T$，即样本中的真实值；以$U$代表$N\times (d+1)$的自变量矩阵，其中第$j$行为$(x_{j1}...x_{jd},1)$；以$A$ 代表 $(d+1)\times 1$ 的系数矩阵$(a_1...a_{d+1}{)}^T$。则模型可表示为： $$f(U,A)=U\cdot A$$

定义目标函数为：

$$L(A)=\frac{1}{2}{\left|Y-U\cdot A\right|}^2$$

目标函数是关于$A$的凸函数，其对$A$求偏导为：

$$\frac{\partial L(A)}{\partial A}=\frac{1}{2}\frac{\partial {\left|Y-U\cdot A\right|}^2}{\partial A}=-U^T(Y-U\cdot A)$$

令$\frac{\partial L(A)}{\partial A}=0$，得到最优参数为：

$$A={\left(U^T\cdot U\right)}^{-1}\cdot \left(U^T\cdot Y\right)$$

这种求解线性回归参数的方法也叫最小二乘法。

最小二乘法要求矩阵 $U^T\cdot U$ 可逆，即$U^T\cdot U$是满秩的。当$U^T\cdot U$不可逆时可以通过两种方法进行参数估计，一种先使用主成分分析等方法来预处理数据，消除不同特征之间的相关性，然后再使用最小二乘法。第二种方法是使用梯度下降法。

• 梯度下降法
  数据集
  监督学习一般靠数据驱动。我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），通常还应该有一个用于防止过拟合的交叉验证集和一个用于评估模型性能的测试集(test set)。一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。

  损失函数
  如果把线性回归看作是一个优化问题，那么我们要优化的目标就是损失函数。损失函数是 用来衡量样本误差的函数，我们的优化目标是要求得在误差最小的情况下模型参数的值。这里强调一下损失函数和代价函数的区别：

  注意：
  Loss Function(损失函数)： the error for single training example;
  Cost Function(代价函数)： the average of the loss functions of the entire training set;

  线性回归常用的损失函数是均方误差，表达式为：

$$l^{(i)}(\mathbf{w},b)=\frac{1}{2}{\left({\hat{y}}^{(i)}-y^{(i)}\right)}^2$$

$$L(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n{l}^{(i)}(\mathbf{w},b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}{\left({\mathbf{w}}^{\top }{\mathbf{x}}^{(i)}+b-y^{(i)}\right)}^2$$   其中 $\hat{y}$ 为预测值，$y$ 为真实值。 优化算法 - 随机梯度下降

当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失和有关模型参数的导数（梯度），最后用此结果与预先设定的学习率的乘积作为模型参数在本次迭代的减小量。如下式所示：

$$(\mathbf{w},b)\leftarrow (\mathbf{w},b)-\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{\partial }_{(\mathbf{w},b)}{l}^{(i)}(\mathbf{w},b)$$

学习率($\eta$): 代表在每次优化中，能够学习的步长的大小
批量大小($B$): 是小批量计算中的批量大小batch size

• 基于异常检测的线性回归
    前一节讨论了这样一种情况：即一个特定的变量被认为是特殊的，最优平面是通过最小化该特殊变量的均方误差而确定的。而我们通常所说的异常检测中并不会对任何变量给与特殊对待，异常值的定义是基于基础数据点的整体分布，因此需要采用一种更一般的回归建模：即以相似的方式对待所有变量，通过最小化数据对该平面的投影误差确定最佳回归平面。在这种情况下，假设我们有一组变量 $X_1\dots X_d$， 对应的回归平面如下：

$$a_1\cdot X_1+\dots +a_d\cdot X_d+a_{d+1}=0$$

为了后续计算的方便，对参数进行如下约束： $$\sum _{i=1}^d{a}_i^2=1$$   以$L_2$范数作为目标函数： $$L={\left|U\cdot A\right|}_2$$

这样的一个问题可以通过主成分分析方法得到有效解决.

三、主成分分析

上一节的最小二乘法试图找到一个与数据具有最佳匹配 $(d-1)$ 维超平面。主成分分析方法可用于解决这一问题的广义版本。具体来说，它可以找到任意 $k(k<d)$ 维的最优表示超平面，从而使平方投影误差最小化。

归一化问题

当不同维度的尺度差别较大时，使用 $PCA$ 有时并不能得到直观有效的结果。例如，考虑一个包含年龄和工资等属性的人口统计数据集。工资属性的范围可能是几万，而年龄属性几乎总是小于100，使用主成分分析会导致主成分被高方差属性所控制。对于一个只包含年龄和工资的二维数据集，最大的特征向量几乎与工资轴平行，这会降低异常点检测过程的有效性。因此，一个自然的解决方案是对数据进行均值为0方差为1的标准化处理。这隐含地导致在主成分分析中使用相关矩阵而不是协方差矩阵。当然，这个问题并不是线性建模所独有的，对于大多数异常检测算法，都需要使用这样的预处理。

四、回归分析的局限性

回归分析作为检测离群值的工具有一些局限性。这些缺点中最重要的是在本章的一开始就讨论了，其中探讨了回归分析的数据特定性质。特别是，为了使回归分析技术有效，数据需要高度相关，并沿着低维子空间对齐。当数据不相关，但在某些区域高度聚集时，这种方法可能不会有效。

另一个相关的问题是，数据中的相关性在本质上可能不是全局性的。最近的一些分析观察表明，子空间相关性是特定于数据的特定位置的。在这种情况下，由主成分分析发现的全局子空间对于异常检测是次优的。因此，为了创建更一般的局部子空间模型，有时将线性模型与邻近模型结合起来是有用的。

五、总结

真实数据中，数据不同属性之间往往具有显著的相关性。在这种情况下，线性建模可以提供一种有效的工具来从底层数据中移除异常值或者进行异常检测。对于其他基于因变量回归的应用，线性建模是一种工具，去除异常值对于提高此类应用的性能是非常重要的。在大多数情况下，主成分分析提供了去除异常值和进行异常检测最有效的方法，因为它对存在少数异常值的数据更有鲁棒性。

六、练习

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
from pyod.models.pca import PCA
from pyod.utils.data import generate_data, get_outliers_inliers,evaluate_print

#生成两个特征的随机数据
#在生成数据函数中，默认情况下离群分数为0.2
outlier_fraction = 0.1
X_train, Y_train,X_test,Y_test = generate_data(n_train=300,n_test=60,train_only=False, n_features=2)

x_outliers, x_inliers = get_outliers_inliers(X_train,Y_train)
n_inliers = len(x_inliers)
n_outliers = len(x_outliers)  
print("train",n_inliers,n_outliers)
x_outliers, x_inliers = get_outliers_inliers(X_test,Y_test)
n_inliers = len(x_inliers)
n_outliers = len(x_outliers)  
print("test",n_inliers,n_outliers)

#分离这两个特征，并使用它来绘制数据 
F1 = X_train[:,[0]].reshape(-1,1)
F2 = X_train[:,[1]].reshape(-1,1)

# create a meshgrid 
xx , yy = np.meshgrid(np.linspace(-10, 10, 200), np.linspace(-10, 10, 200))

# scatter plot 
plt.scatter(F1,F2)
plt.xlabel('F1')
plt.ylabel('F2') 

clf = PCA()
clf.fit(X_train)
train_scores = clf.decision_scores_
#预测原始异常分数
scores_pred = clf.decision_function(X_train)*-1
#数据点类别异常值或异常值的预测
y_pred = clf.predict(X_train) 
test_pred = clf.predict(X_test)
#预测没有错误
n_errors = (y_pred != Y_train).sum()  
print('No of Errors : ', n_errors)
a = evaluate_print("PCA",Y_train,train_scores)

from pyod.utils.example import visualize
visualize("PCA",X_train,Y_train,X_test,Y_test,y_pred,test_pred)