机器学习之协方差和奇异值分解实现

案例描述

要求：有以下数据集（二维数组）data，
[[3, 4, 1, 6, 4],
[2, 3, 5, 4, 0],
[3, 3, 1, 0, 0],
[5, 5, 6, 2, 2],
[0, 2, 3, 3, 3],
[0, 0, 0, 6, 6]]

对其svd分解，并打印输出分解后的结果

案例分析

协方差

在pca降维算法中，我们要计算样本数据的协方差。
协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

奇异值分解

在矩阵M的奇异值分解中
· U的列(columns)组成一套对M的正交"输入"或"分析"的基向量。这些向量是MM的特征向量。
· V的列(columns)组成一套对M的正交"输出"的基向量。这些向量是MM的特征向量。
· Σ对角线上的元素是奇异值，可视为是在输入与输出间进行的标量的"膨胀控制"。这些是MM及MM的奇异值，并与U和V的列向量相对应。

矩阵近似值

奇异值分解在统计中的主要应用为主成分分析（PCA），一种数据分析方法，用来找出大量数据中所隐含的“模式”，它可以用在模式识别，数据压缩等方面。PCA算法的作用是把数据集映射到低维空间中去。 数据集的特征值（在SVD中用奇异值表征）按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量组成的空间即为降维后的空间。

代码如下

import numpy as n