有关矩阵的整理（持续更新）

                                            有关矩阵的整理（持续更新）

特征值：

       特征值是线性代数中的一个重要概念。在数学、物理学、化学、计算机等领域有着广泛的应用。设 A 是n阶方阵，如果存在数m和非零n维列向量x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。

特征值基本定义：

      设A为n阶矩阵，若存在常数λ及n维非零向量x，使得Ax=λx，则称λ是矩阵A的特征值，x是A属于特征值λ的特征向量。[1]

A的所有特征值的全体，叫做A的谱，记为.

计算方法：

       求n阶矩阵A的特征值的基本方法：  根据定义可改写为关系式，为单位矩阵（其形式为主对角线元素为λ-，其余元素乘以-1）。要求向量具有非零解，即求齐次线性方程组有非零解的值。即要求行列式。 解次行列式获得的值即为矩阵A的特征值。将此值回代入原式求得相应的，即为输入这个行列式的特征向量。

求矩阵的全部特征值和特征向量的方法如下：

第一步：计算的特征多项式；  

第二步：求出特征方程的全部根，即为的全部特征值；  

第三步：对于的每一个特征值，求出齐次线性方程组：  的一个基础解系，则的属于特征值的全部特征向量是  （其中是不全为零的任意实数）．  

[注]：若是的属于的特征向量，则也是对应于的特征向量，因而特征向量不能由特征值惟一确定．反之，不同特征值对应的特征向量不会相等，亦即一个特征向量只能属于一个特征值.

基本应用：

判断相似矩阵的必要条件

设有n阶矩阵A和B，若A和B相似（A∽B），则有：

1、A的特征值与B的特征值相同——λ(A)=λ(B)，特别地，λ(A)=λ(Λ)，Λ为A的对角矩阵；

2、A的特征多项式与B的特征多项式相同——|λE-A|=|λE-B|；

3、A的迹等于B的迹——trA=trB/，其中i=1,2,…n（即主对角线上元素的和）；

4、A的行列式值等于B的行列式值——|A|=|B|；

5、A的秩等于B的秩——r(A)=r(B)。[1]

因而A与B的特征值是否相同是判断A与B是否相似的根本依据。

判断矩阵可对角化的充要条件

相似对角化矩阵可对角化有两个充要条件：

1、矩阵有n个不同的特征向量；

2、特征向量重根的重数等于基础解系的个数。对于第二个充要条件，则需要出现二重以上的重特征值可验证（一重相当于没有重根）。[1]

若矩阵A可对角化，则其对角矩阵Λ的主对角线元素全部为A的特征值，其余元素全部为0。（一个矩阵的对角阵不唯一，其特征值可以换序，但都存在由对应特征向量顺序组成的可逆矩阵P使=Λ）

（来自百度百科）

---

特征值和特征向量的应用实例：

主成分分析（Principle Component Analysis, PCA）

（1）方差、协方差、相关系数、协方差矩阵

    方差：

    协方差： , , 

 **方差是衡量单变量的离散程度，协方差是衡量两个变量的相关程度（亲疏），协方差越大表明两个变量越相似（亲密），协方差越小表明两个变量之间相互独立的程度越大。

    相关系数：，

  **协方差和相关系数都可以衡量两个表明的相关程度，协方差未消除量纲，不同变量之间的协方差大小不能直接比较，而相关系数消除了量纲，可以比较不同变量之间的相关程度。

    协方差矩阵：如果有两个变量X，Y，那么协方差矩阵为，协方差阵说明了样本中变量间的亲疏关系。

（2）主成分分析的思想和算法

　　主成分分析是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。它是一个线性变换，这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。

　　假设用p个变量来描述研究对象，分别用X1，X2…Xp来表示，这p个变量构成的p维随机向量为X=(X1，X2…Xp)，n个样本构成组成了n行p列的矩阵A。主成分求解过程如下：

　　第一步，求解得到矩阵A的协方差阵B；

　　第二步，求解协方差阵B，得到按大小顺序排列的特征值向量，为特征值向量中每个特征值组成的对角矩阵，U为所有特征值对应的特征向量构成的矩阵U，因此有。重点来了，U是有特征向量构成的正定阵，向量的每一行可以视为一个的基向量，这些基向量经过矩阵B转换后，得到了在各个基向量上的伸缩，伸缩的大小即为特征向量。

第三步，主成分个数选择，根据特征值的大小，将特征值较大的作为主成分，其对应的特征向量就为基向量，特征值的筛选根据实际情况而定，一般大于1即可考虑作为主成分。

（3）实例分析——机器学习中的分类问题

　　机器学习中的分类问题，给出178个葡萄酒样本，每个样本含有13个参数，比如酒精度、酸度、镁含量等，这些样本属于3个不同种类的葡萄酒。任务是提取3种葡萄酒的特征，以便下一次给出一个新的葡萄酒样本的时候，能根据已有数据判断出新样本是哪一种葡萄酒。

问题详细描述：http://archive.ics.uci.edu/ml/datasets/Wine
训练样本数据：http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data

把数据集赋给一个178行13列的矩阵R，它的协方差矩阵C是13行13列的矩阵，对C进行特征分解，对角化，其中U是特征向量组成的矩阵，D是特征之组成的对角矩阵，并按由大到小排列。然后，令，就实现了数据集在特征向量这组正交基上的投影。嗯，重点来了，中的数据列是按照对应特征值的大小排列的，后面的列对应小特征值，去掉以后对整个数据集的影响比较小。比如，现在我们直接去掉后面的7列，只保留前6列，就完成了降维。

　　下面我们看一下降维前和降维后的使用svm分类结果，本部分采用实现SVM的R语言包e1071，代码如下表所示。分类结果显示，使用主成分分析后的样本和未进行主成分分析样本的分类结果一样。因此，主成分分析提取的6个主成分能较好的表达原样本的13个变量。

library("e1071")
#读取数据
wineData=read.table("E:\\research in progress\\百度云同步盘\\blog\\特征值和特征向量\\data.csv",header=T,sep=",");

#计算协方差阵
covariance = cov(wineData[2:14])

#计算特征值和特征向量
eigenResult=eigen(covariance)

#选取6个主成分,并计算这6个主成分解释的方差总和
PC_NUM = 6
varSum=sum(eigenResult$values[1:PC_NUM])/sum(eigenResult$values)

#降维后的样本
ruduceData= data.matrix(wineData[2:14])%*%eigenResult$vectors[,1:PC_NUM]

#加入分类标签
#finalData=cbind(wineData$class,ruduceData)

#给finalData添加列名
#colnames(finalDat) =c("calss","pc1","pc2","pc3","pc4","pc5","pc6")

#训练样本--主成分分析后的样本作为训练样本
y=wineData$class;
x1=ruduceData;
model1 <- svm(x1, y,cross=10)
pred1 <- predict(model1, x1)
#pred1 <- fitted(model1)
table(pred1, y) #使用table来查看预测结果

#训练样本--原数据作为训练样本
x2=wineData[2:14]
model2 <- svm(x2, y,cross=10)
#pred2 <- predict(model2, x2)
pred2 <- fitted(model2)
table(pred2, y) #使用table来查看预测结果

（原文来自：http://www.cnblogs.com/jiahuaking/p/3843071.html）

---

数学中的各种矩阵大总结

博客地址：https://blog.csdn.net/baimafujinji/article/details/74169484

---

正交基、标准正交基、正交矩阵等数学知识点

1.正交向量组

直接给定义：欧式空间V的一组非零向量，如果他们俩俩向量正交，则称是一个正交向量组。

（1）正交向量组 是 线性无关的

（2）n维欧式空间中俩俩正交的非零向量不会超过n个，即n维欧式空间中一个正交向量组最多n个向量

2.正交基

在n维欧式空间中，由n个非零向量组成的正交向量组称为正交基

3.标准正交基

在n维欧式空间中，由n个单位向量组成的正交向量组称为标准正交基

比如3维欧式空间中，

(1,0,0)、(0,1,0)、(0,0,1)是一个正交向量组，因为他们俩俩向量正交

(1,0,0)、(0,1,0)、(0,0,1)是一个正交基，因为此正交向量组由n个非零向量组成

(1,0,0)、(0,1,0)、(0,0,1)是一个标准正交基，因为每个向量都是单位向量

4.单位矩阵

如果一个矩阵满足一下几个条件，它就是一个单位矩阵，记作E或者I:

（1）是一个方阵

（2）主对角线上的元素都是1（主对角线是从左上到右下的对角线）

（3）除了主对角线，其他位置的元素都是0

如下就是一个3阶单位矩阵

[[1 0 0]
 [0 1 0]
 [0 0 1]]
4.正交矩阵

The orthogonal matrix，正交矩阵，如果一个矩阵满足以下几个条件，则此矩阵就是正交矩阵：

（1）是一个方阵

（2）和自己的转置矩阵的矩阵乘积 = 单位矩阵E

如果A为一个正交矩阵，则A满足以下条件：

1) A的转置矩阵也是正交矩阵

2)  （E为单位矩阵）

3) A的各行是单位向量且两两正交

4) A的各列是单位向量且两两正交

5) (Ax,Ay)=(x,y) x,y∈R

6) |A| = 1或-1

7)  A的转置矩阵等于A的逆矩阵

（视屏详细教学：https://v.qq.com/x/page/u0537foboq2.html）

（原文来自：https://blog.csdn.net/u012421852/article/details/80475497 ）
 

---

 瑞利商（Rayleigh quotient）与广义瑞利商（genralized Rayleigh quotient） 

LDA算法流程　：

　　　　输入：数据集D={(x1,y1),(x2,y2),...,((xm,ym))}D={(x1,y1),(x2,y2),...,((xm,ym))},其中任意样本xixi为n维向量，yi∈{C1,C2,...,Ck}yi∈{C1,C2,...,Ck}，降维到的维度d。

　　　　输出：降维后的样本集$D′$

　　　　1) 计算类内散度矩阵SwSw

　　　　2) 计算类间散度矩阵SbSb

　　　　3) 计算矩阵S−1wSbSw−1Sb

　　　　4）计算S−1wSbSw−1Sb的最大的d个特征值和对应的d个特征向量(w1,w2,...wd)(w1,w2,...wd),得到投影矩阵WWW

　　　　5) 对样本集中的每一个样本特征xixi,转化为新的样本zi=WTxizi=WTxi

　　　　6) 得到输出样本集D′={(z1,y1),(z2,y2),...,((zm,ym))}D′={(z1,y1),(z2,y2),...,((zm,ym))}

 

　　　　以上就是使用LDA进行降维的算法流程。实际上LDA除了可以用于降维以外，还可以用于分类。一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。

参考网址：https://www.cnblogs.com/pinard/p/6244265.html

 

---