异常检测-PCA方法

异常检测-PCA方法

记录DataWhale的异常检测的学习过程，使用的教材可以在此链接中下载。
Task3介绍的是传统的基于线性相关方法的异常检测算法，最常用的是PCA方法，本文先介绍最基本的最小二乘拟合，再从线性回归的角度介绍PCA算法，并主要介绍PCA在异常检测中的原理，最后在breast cancer数据集上对比了PCA与HBOS算法的性能。

线性回归-最小二乘拟合

基于最小二乘拟合的线性回归差不多是所有机器学习课程的第一课，我们可以这样定义问题:有带标签数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) ⋯ ( x m , y m ) } D=\{(\boldsymbol{x_1},y_1),(\boldsymbol{x_2},y_2)\cdots(\boldsymbol{x_m},y_m)\} D={ (x1​,y1​),(x2​,y2​)⋯(xm​,ym​)}，其中${\mathbf{x}}_{\mathbf{i}}\in {\mathbb{R}}^d$，$m$个样本的特征组成特征矩阵$X$,其中$X\in {\mathbb{R}}^{m\times d}$（每一行是一个样本）；$m$个样本的标签组成标签向量$\mathbf{y}=(y_1,y_2\cdots y_m{)}^T$。 我们的目的是求出未知参数$\mathbf{\theta }$, 其中，$\mathbf{\theta }\in {\mathbb{R}}^d$，使得$||X\mathbf{\theta }-\mathbf{y}|{|}_2^2$最小。我们记$J(\mathbf{\theta })=||X\mathbf{\theta }-\mathbf{y}|{|}_2^2$, $J(\mathbf{\theta })$就是我们要优化的目标函数。

目标函数的数学意义

第一个要回答的问题就是为什么我们的目标函数要定义为$||X\mathbf{\theta }-\mathbf{y}|{|}_2^2$这种形式，为什么是残差向量二范数的平方，$||X\mathbf{\theta }-\mathbf{y}|{|}_2^3$这样的三次方不可以吗？这样定义的背后的数学意义在哪里？

这里我们从概率出发，给出一个数学上的解释,我们考虑某单个样本$({\mathbf{x}}_{\mathbf{i}},y_i)$，在参数$\mathbf{\theta }$确定的情况下存在以下公式：
$$y_i={\mathbf{\theta }}^T{\mathbf{x}}_{\mathbf{i}}+{ϵ}_i\text{\hspace{1em}(1)}$$