特征值与特征向量,PCA和谱聚类

特征值和特征向量

  1. 矩阵的基
    • 定义:一个m*n的矩阵可以看成是n个列向量组成,这n个列向量的线性组合构成一个列空间,而通常这n个列向量不是线性无关的,那么求出这n个列向量中不相关的r个,可以称这r列为矩阵列空间的基。
    • 基上投影的计算:要准确描述向量,首先要确定一组基,然后给出在基所在的各个直线上的投影值。二维直角坐标系中我们经常省略第一步,而默认以(1,0)和(0,1)为基。对向量在某个基上的投影等于此向量和这个基的内积(即向量的点乘)。
  2. 特征值
    2.1 特征值的意义
    • 矩阵主对角线上的元素表示自身和自身的关系,其他位置的元素aij表示i位置和j位置元素之间的相互关系。特征值问题其实就是选取了一组很好的基,就把矩阵 i位置和j位置元素之间的相互关系消除了。
      -特征值越大,矩阵在对应向量上的方差越大,所含的信息越多。
    • 特征值反映了特征向量在变换时的伸缩倍数,反映的是变换的剧烈程度,它的值代表矩阵在基上的投影长度。
  3. 特征向量
    3.1 特征向量的意义
    • 特征向量的引入是为了选取一组很好的基
    • 特征向量指明变换的方向
  4. 特征值分解
    一个变换(矩阵)可由它的所有特征向量完全表示。而每一个向量所对应的特征值,就代表了矩阵在这一向量上的贡献率——说的通俗一点就是能量,可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么,可以将每一个特征向量理解为一个线性的子空间
    对于矩阵A这个变换所在的一个n维空间,如果存在n个线性无关的特征向量, 我们就能用这n个特征向量作为基来表示这个空间的任意向量!

PCA主成分分析

优化目标:数据的方差最大(数据间的分布越离散),数据间的协方差越小(数据间的相关性越小)。

PCA的算法步骤:
设有m条n维数据。
1)将原始数据按列组成n行m列矩阵X
2)将X的每一行(代表一个属性字段)进行零均值化,即减去这一行的均值
3)求出协方差矩阵C=XXTC
4)求出协方差矩阵的特征值及对应的特征向量
5)将特征向量按对应特征值大小从上到下按行排列成矩阵,取前k行组成矩阵P
6)Y=PXY=PX即为降维到k维后的数据

谱聚类

谱聚类算法的实施过程通常包含以下几个步骤:
1)输入:相似度矩阵S(Rn∗n)、目标聚类数目k (在此之前需要完成两项工作: 1.选择合适的相似度函数,2.选择合适的聚类数目k)
2)构造出相似图及其赋权的邻接矩阵(weighted adjacency matrix) (这一步需要选择:相似图的类型以及相应的参数)
3)计算出相似图的Laplacian矩阵 (这一步需要选择:Laplacian矩阵的类型)
4)计算Laplacian矩阵的前k个特征值对应的特征向量,以这k个特征向量为列,拼出新的矩阵Un∗k)
5)视矩阵U的每一行为Rk中的一个点,对这n个点y1,y2,…yn进行k−means聚类,得到k个聚类C1,C2,…Ck
6)输出聚类结果A1,A2,…Ak:yi被分到Cj中的哪一类,xi就被分到相应的Aj类

阅读更多
换一批

没有更多推荐了,返回首页