【散布矩阵】PCA 协方差矩阵

阿多2233

于 2023-06-11 11:36:30 发布

阅读量689

点赞数

文章标签：矩阵机器学习线性代数

本文链接：https://blog.csdn.net/weixin_45026269/article/details/131151569

版权

散布矩阵（scatter matrix）是用于描述多元数据集合中各个变量之间关系的一种矩阵。在统计学和机器学习中，散布矩阵通常用于分析数据的方差、协方差和相关性等特征。

给定一个包含 $n$ 个观测值的多元数据集合，其中每个观测值包含 $d$ 个变量（或特征），则该多元数据集合的散布矩阵是一个 $d\times d$ 的矩阵，其中每个元素表示相应变量之间的协方差。设 $X$ 是一个 $n\times d$ 的数据矩阵，其中每一行表示一个观测值，每一列表示一个变量，则该多元数据集合的散布矩阵 $S$ 可以表示为：

$\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(x_i-\bar{x})^T$

其中， $\bar{x}$ 是数据矩阵 $X$ 每一列的均值向量， $x_i$ 是数据矩阵 $X$ 的第 $i$ 行向量， $^T$ 表示向量的转置操作。

散布矩阵可以用于计算多元数据集合的协方差矩阵和相关矩阵等统计量，进而进行数据分析和机器学习模型的建立和评估。

散布矩阵的计算

给定一个包含 $n$ 个二维坐标的数据集合，其中每个坐标记为 $x_i, y_i)$ ，则该数据集合的散布矩阵可以按照如下步骤计算：

计算每个坐标的均值向量 $\bar{x} = \begin{pmatrix} \bar{x}_1 \ \bar{x}_2 \end{pmatrix}$ ，其中 $\bar{x}_1$ 和 $\bar{x}_2$ 分别表示所有 $x$ 坐标和所有 $y$ 坐标的平均值。

构造 $2\times 2$ 的零矩阵 $\begin{pmatrix} 0 & 0 \ 0 & 0 \end{pmatrix}$ ，作为散布矩阵的初始值。

对于每个坐标 $x_i, y_i)$ ，计算其与均值向量的差向量 $v_i = \begin{pmatrix} x_i - \bar{x}_1 \ y_i - \bar{x}_2 \end{pmatrix}$ ，然后将其外积（即 $v_i v_i^T$ ）加到散布矩阵 $S$ 上。

最终得到的散布矩阵 $S$ 即为所求。

具体地，散布矩阵的计算公式为：

$\frac{1}{n-1}\sum_{i=1}^{n}(v_i v_i^T) = \frac{1}{n-1}\sum_{i=1}^{n}\begin{pmatrix} x_i - \bar{x}_1 \ y_i - \bar{x}_2 \end{pmatrix}\begin{pmatrix} x_i - \bar{x}_1 & y_i - \bar{x}_2 \end{pmatrix}$

其中， $v_i v_i^T$ 表示向量 $v_i$ 的外积， $\frac{1}{n-1}$ 是修正系数，以保证散布矩阵能够无偏估计数据集合的协方差矩阵。

利用散布矩阵计算协方差矩阵

协方差矩阵描述了多元数据集合中各个变量之间的协方差关系，可以用散布矩阵来计算。

假设有一个包含 $n$ 个观测值，每个观测值包含 $d$ 个变量的数据集合，其中数据矩阵为 $X$ ，每个变量的均值向量为 $\bar{x}$ ，则该数据集合的协方差矩阵 $\Sigma$ 可以用散布矩阵 $S$ 来计算，公式为：

$\Sigma = \frac{1}{n-1}SS^T$

其中， $S$ 是数据集合的散布矩阵， $S^T$ 是 $S$ 的转置矩阵， $\frac{1}{n-1}$ 是修正系数，以保证协方差矩阵能够无偏估计数据集合的协方差矩阵。

具体地，可以按照以下步骤计算协方差矩阵：

计算数据集合的散布矩阵 $S$ ，按照前面的方法计算。

计算 $S$ 的转置矩阵 $S^T$ 。

计算协方差矩阵 $\Sigma = \frac{1}{n-1}SS^T$ 。

例子

现有下列训练样本，请用PCA算法将2维特征降为1维，并画出
训练样本和投影主轴以及投影后的样本点。（2,0）的转置，（2,1）的转置，（3,0）的转置，（4,2）的转置，（3,2）的转置，（4,1）的转置

对于一个包含 $n$ 个二维坐标的数据集合，可以先计算该数据集合的散布矩阵 $S$ ，然后按照上述公式计算出该数据集合的协方差矩阵 $\Sigma$ 。 $\Sigma$ 的对角线元素即为各个变量的方差，非对角线元素则表示两个变量之间的协方差。

PCA算法可以将具有高维特征的数据集转换为低维特征的数据集，以便更好地进行可视化、分类或聚类等操作。下面是将给定的2维训练样本降为1维的步骤：

对训练样本进行中心化，即将每个特征的均值减去该特征的平均值，得到新的训练样本 $X$ 。

计算训练样本的协方差矩阵 $\frac{1}{n-1}XX^T$ ，其中 $n$ 是训练样本的数量。

对协方差矩阵 $C$ 进行特征值分解，得到特征值和特征向量。将特征向量按照对应的特征值大小进行排序，得到主成分方向。

取最大的特征值对应的特征向量作为主成分方向 $v$ 。

将训练样本投影到主成分方向上，得到新的一维特征向量 $y = v X$ 。

下面是具体的计算步骤：

首先，将给定的2维训练样本中心化，得到新的训练样本：

$\begin{pmatrix} 10 & 9 & 10 & 11 & 0 & 1 & 0 & -1 \ 1 & 0 & -1 & 0 & 9 & 10 & 11 & 10 \end{pmatrix} - \begin{pmatrix} 5.5 \ 5 \end{pmatrix} = \begin{pmatrix} 4.5 & 3.5 & 4.5 & 5.5 & -5.5 & -4.5 & -5.5 & -6.5 \ -4 & -5 & -6 & -5 & 4 & 5 & 6 & 5 \end{pmatrix}$

然后，计算训练样本的协方差矩阵：

$\frac{1}{7}XX^T = \begin{pmatrix} 10.3929 & -9.6071 \ -9.6071 & 10.3929 \end{pmatrix}$

对协方差矩阵进行特征值分解，得到特征值和特征向量：

$\begin{pmatrix} 10.3929 & -9.6071 \ -9.6071 & 10.3929 \end{pmatrix} \begin{pmatrix} 1 \ -1 \end{pmatrix} = 20\begin{pmatrix} 1 \ -1 \end{pmatrix}$

$\begin{pmatrix} 10.3929 & -9.6071 \ -9.6071 & 10.3929 \end{pmatrix} \begin{pmatrix} 1 \ 1 \end{pmatrix} = 0\begin{pmatrix} 1 \ 1 \end{pmatrix}$

特征值为 $20$ 和 $0$ ，对应的特征向量为 $\begin{pmatrix} 1 \ -1 \end{pmatrix}$ 和 $\begin{pmatrix} 1 \ 1 \end{pmatrix}$ 。由于特征值 $20$ 对应的特征向量 $\begin{pmatrix} 1 \ -1 \end{pmatrix}$ 是最大的特征值对应的特征向量，因此将其作为主成分方向 $v$ 。

将训练样本投影到主成分方向上，得到新的一维特征向量 $y = v X$ ：

$\begin{pmatrix} 1 \ -1 \end{pmatrix}^T \begin{pmatrix} 4.5 & 3.5 & 4.5 & 5.5 & -5.5 & -4.5 & -5.5 & -6.5 \ -4 & -5 & -6 & -5 & 4 & 5 & 6& 5 \end{pmatrix} = \begin{pmatrix} 8 \ -8 \end{pmatrix}$

阿多2233

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【散布矩阵】PCA 协方差矩阵

散布矩阵（scatter matrix）是用于描述多元数据集合中各个变量之间关系的一种矩阵。在统计学和机器学习中，散布矩阵通常用于分析数据的方差、协方差和相关性等特征。给定一个包含n个观测值的多元数据集合，其中每个观测值包含d个变量（或特征），则该多元数据集合的散布矩阵是一个d×d的矩阵，其中每个元素表示相应变量之间的协方差。设X是一个n×d的数据矩阵，其中每一行表示一个观测值，每一列表示一个变量，则该多元数据集合的散布矩阵SSn−11i1∑nxi−。
复制链接

扫一扫