降维方法笔记

1.奇异值分解 SVD

将一个普通矩阵分解为：

分别代表旋转拉伸旋转。 

  ，

，   

 

分解后将对角矩阵中的特征值递减存放，且减少的很快。前10%的值就能占总数的99%。特征值越大代表相对应的矩阵的操作越重要。所以只需要选取较小的一部分矩阵就能近似的描述之前的矩阵。

 用于：压缩，降维，省空间

2.主成分分析 PCA

将数据投影在分布较广的轴上

协方差：描述二维数据的相关关系  -1 ~ 1

协方差矩阵：

描述n维数据的相关关系。

把n维数据两两之间的协方差组成协方差矩阵。

1. 基于SVD分解的PCA：将协方差矩阵用SVD分解，得到的对角矩阵中的特征值就是主成分。

2. 基于特征值分解的PCA：

不适合做分类。

3.t-SNE算法：

定义loss函数，梯度下降。。。

Z值化，标准正态分布，T分布。