MATLAB实例：PCA（主成成分分析）详解

已于 2022-05-12 10:33:22 修改
阅读量2.4w 收藏 233
点赞数 14
文章标签： matlab 开发语言
于 2021-12-18 11:14:17 首次发布
原文链接：https://www.cnblogs.com/kailugaji/p/12165124.html
版权

发现一篇非常实用的pca matlab程序学习文章，包括对matlab自带的pca函数的解释说明，转载链接放到文末。另外整理了涉及到的一些其他内容一并放入文中

1. 主成成分分析

对于数学原理，可参见：CodingLabs - PCA的数学原理

本文不再赘述 

 2. MATLAB解释

详细信息请看：Principal component analysis of raw data - mathworks

[coeff,score,latent,tsquared,explained,mu] = pca(X)

coeff = pca(X) returns the principal component coefficients, also known as loadings, for the n-by-p data matrix X. Rows of X correspond to observations and columns correspond to variables.

The coefficient matrix is p-by-p.

Each column of coeff contains coefficients for one principal component, and the columns are in descending order of component variance.

By default, pca centers the data and uses the singular value decomposition (SVD) algorithm.

coeff = pca(X,Name,Value) returns any of the output arguments in the previous syntaxes using additional options for computation and handling of special data types, specified by one or more Name,Value pair arguments.

For example, you can specify the number of principal components pca returns or an algorithm other than SVD to use.

[coeff,score,latent] = pca(___) also returns the principal component scores in score and the principal component variances in latent.

You can use any of the input arguments in the previous syntaxes.

Principal component scores are the representations of X in the principal component space. Rows of score correspond to observations, and columns correspond to components.

The principal component variances are the eigenvalues of the covariance matrix of X.

[coeff,score,latent,tsquared] = pca(___) also returns the Hotelling's T-squared statistic for each observation in X.

[coeff,score,latent,tsquared,explained,mu] = pca(___) also returns explained, the percentage of the total variance explained by each principal component and mu, the estimated mean of each variable in X.

coeff: X矩阵所对应的协方差矩阵V的所有特征向量组成的矩阵，即变换矩阵或投影矩阵，coeff每列代表一个特征值所对应的特征向量，列的排列方式对应着特征值从大到小排序。

score: 表示原数据在各主成分向量上的投影。但注意：是原数据经过中心化后在主成分向量上的投影。score每行对应样本观测值，每列对应一个主成份(变量)，它的行和列的数目和X的行列数目相同。

latent: 是一个列向量，主成分方差，也就是各特征向量对应的特征值，按照从大到小进行排列。( 简洁点说就是X 所对应的协方差矩阵的特征值，latent=diag(cov(score)))

tsquared: X中每个观察值的Hotelling的T平方统计量。Hotelling的T平方统计量（T-Squared Statistic）是每个观察值的标准化分数的平方和，以列向量的形式返回。（即用来衡量多变量间的距离，这个距离是指样本观测值到数据集中心的距离。）

explained: 由每个主成分解释的总方差的百分比，每一个主成分所贡献的比例。explained = 100*latent/sum(latent)。

mu: 每个变量X的估计平均值。

注：

自己手动编写PCA时，需要对数据进行中心化处理。矩阵中心化是使用数据减去数据的均值（每一列代表一个特征向量，计算出一个均值）

利用MATLAB自带函数计算PCA的时候，MATLAB自动对列进行了去均值的操作，但是并不对数据进行标准化，如果要标准化的话，用zscore函数，即x=zscore(X)。另外，如果直接有现成的协方差阵，用函数pcacov来计算。

若仍然对函数表示的信息不理解，可以参照：

(19条消息) matlab pca函数怎么用,matlab的pca函数说明_欧克米路的博客-CSDN博客

插入：矩阵的特征值与特征向量概念

假设我们有一个n阶的矩阵A以及一个实数λ，使得我们可以找到一个非零向量x，满足：

Ax=λx

如果能够找到的话，我们就称λ是矩阵A的特征值，非零向量x是矩阵A的特征向量。

对应在matlab中，即为eig函数：

[V,D] = eig(A) 返回特征值的对角矩阵 D 和矩阵 V，其列是对应的右特征向量，使得 A*V = V*D。

可参考：(20条消息) 特征值分解：特征值，特征向量，特征向量矩阵_Nico的博客-CSDN博客_矩阵分解特征值和特征向量

eig和eigs的区别

d = eigs(A,k) % 返回一个向量，其中包含矩阵 A 的 k 个模最大的特征值(默认是6个)

当使用 eig 计算所有特征值的计算量很大时（例如对于大型稀疏矩阵来说），这是非常有用的。 

3. MATLAB程序

3.1 方法一：指定降维后低维空间的维度k

function [data_PCA, COEFF, sum_explained]=pca_demo_1(data,k)
% k:前k个主成分
data=zscore(data);  %归一化数据
[COEFF,SCORE,latent,tsquared,explained,mu]=pca(data);
latent1=100*latent/sum(latent);%将latent特征值总和统一为100，便于观察贡献率
data= bsxfun(@minus,data,mean(data,1));
data_PCA=data*COEFF(:,1:k);
pareto(latent1);%调用matla画图 pareto仅绘制累积分布的前95%，因此y中的部分元素并未显示
xlabel('Principal Component');
ylabel('Variance Explained (%)');
% 图中的线表示的累积变量解释程度
print(gcf,'-dpng','PCA.png');
sum_explained=sum(explained(1:k));
end

3.2 方法二：指定贡献率percent_threshold

function [data_PCA, COEFF, sum_explained, n]=pca_demo_2(data)
%用percent_threshold决定保留xx%的贡献率
percent_threshold=95;   %百分比阈值，用于决定保留的主成分个数；
data=zscore(data);  %归一化数据
[COEFF,SCORE,latent,tsquared,explained,mu]=pca(data);
latent1=100*latent/sum(latent);%将latent特征值总和统一为100，便于观察贡献率
A=length(latent1);
percents=0;                          %累积百分比
for n=1:A
    percents=percents+latent1(n);
    if percents>percent_threshold
        break;
    end
end
data= bsxfun(@minus,data,mean(data,1));
data_PCA=data*COEFF(:,1:n);
pareto(latent1);%调用matla画图 pareto仅绘制累积分布的前95%，因此y中的部分元素并未显示
xlabel('Principal Component');
ylabel('Variance Explained (%)');
% 图中的线表示的累积变量解释程度
print(gcf,'-dpng','PCA.png');
sum_explained=sum(explained(1:n));
end

4. 结果

数据来源于MATLAB自带的数据集hald

>> load hald
>> [data_PCA, COEFF, sum_explained]=pca_demo_1(ingredients,2)

data_PCA =

  -1.467237802258083  -1.903035708425560
  -2.135828746398875  -0.238353702721984
   1.129870473833422  -0.183877154192583
  -0.659895489750766  -1.576774209965747
   0.358764556470351  -0.483537878558994
   0.966639639692207  -0.169944028103651
   0.930705117077330   2.134816511997477
  -2.232137996884836   0.691670682875924
  -0.351515595975561   1.432245069443404
   1.662543014130206  -1.828096643220118
  -1.640179952926685   1.295112751426928
   1.692594091826333   0.392248821530480
   1.745678691164958   0.437525487914425


COEFF =

   0.475955172748970  -0.508979384806410   0.675500187964285   0.241052184051094
   0.563870242191994   0.413931487136985  -0.314420442819292   0.641756074427213
  -0.394066533909303   0.604969078471439   0.637691091806566   0.268466110294533
  -0.547931191260863  -0.451235109330016  -0.195420962611708   0.676734019481284


sum_explained =

  95.294252628439153

>> [data_PCA, COEFF, sum_explained, n]=pca_demo_2(ingredients)

data_PCA =

  -1.467237802258083  -1.903035708425560
  -2.135828746398875  -0.238353702721984
   1.129870473833422  -0.183877154192583
  -0.659895489750766  -1.576774209965747
   0.358764556470351  -0.483537878558994
   0.966639639692207  -0.169944028103651
   0.930705117077330   2.134816511997477
  -2.232137996884836   0.691670682875924
  -0.351515595975561   1.432245069443404
   1.662543014130206  -1.828096643220118
  -1.640179952926685   1.295112751426928
   1.692594091826333   0.392248821530480
   1.745678691164958   0.437525487914425


COEFF =

   0.475955172748970  -0.508979384806410   0.675500187964285   0.241052184051094
   0.563870242191994   0.413931487136985  -0.314420442819292   0.641756074427213
  -0.394066533909303   0.604969078471439   0.637691091806566   0.268466110294533
  -0.547931191260863  -0.451235109330016  -0.195420962611708   0.676734019481284


sum_explained =

  95.294252628439153


n =

     2

 5. 参考

[1] 周志华,《机器学习》.

[2] MATLAB实例：PCA降维

MATLAB实例：PCA（主成成分分析）详解 - 凯鲁嘎吉 - 博客园 (cnblogs.com)

FDA_sq
关注
主成分分析法PCA的简单使用举例与matlab实现
Yucohny
01-14 666
文章目录一、运用主成分分析法的一般步骤二、简单举例的计算三、简单举例的matlab实现 一、运用主成分分析法的一般步骤 1.将同类型数据中心化： cij=bij−bi‾c_{ij}=b_{ij}-\overline{b_i}cij​=bij​−bi​​ 2.将nnn个类型的每个类型中心化后的参数数据列为向量 a1⃗=(c11,c12,...,c1m),...,an⃗=(cn1,cn2,...,cnm)\vec{a_1}=(c_{11},c_{12},...,c_{1m}),...,\vec{a_n}=(c_
pca主成分分析用matlab实现,PCA （主成分分析）详解 （写给初学者） 结合matlab
weixin_35511284的博客
03-16 2818
一、简介PCA(Principal Components Analysis)即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然...
MATLAB PCA及其实现方法
晓林爱学习的博客
05-21 3046
其中，coefficients为PCA计算出的特征向量矩阵，k为所选取的主成分数量，X_centered为中心化后的原始数据，X_reduced为降维后的数据矩阵，X_recon为重构后的数据矩阵。其中，score为pca函数计算出的转换后的数据，eigenvalues为特征值，cumulative_contribution为特征值的累积贡献度，k表示选取的主成分数量。其中X_centered为中心化后的数据，coefficients为计算出的特征向量，score为转换后的数据。三、求解特征值和特征向量。
Matlab【情感识别】基于主成分分析PCA实现特征降维语音情感识别（含数据集）附代码
最新发布
m0_60703264的博客
07-07 776
一、引言情感识别是近年来人工智能领域的研究热点之一，其目标是通过对语音、文本、图像等多模态信息的分析，识别出说话者或文本作者的情感状态。语音情感识别作为其中重要的一部分，在人机交互、智能客服、心理健康检测等领域具有广阔的应用前景。然而，语音情感识别面临着诸多挑战，其中之一便是特征维度过高，导致模型训练效率低下，同时容易陷入过拟合。因此，对语音情感特征进行降维处理至关重要。主成分分析 (PCA) 是一种经典的线性降维方法，能够有效地将高维数据降维到低维空间，同时保留大部分重要信息。
基于Matlab实现PCA算法（附上多个案例源码）
热门推荐
m0_62143653的博客
03-28 2万+
基于Matlab实现PCA算法（附上多个案例源码）
matlab二维PCA主成分分解和可视化
weixin_47685129的博客
04-23 360
PCA主成分分解和可视化
matlab 实现主成分分析（PCA）
06-04
基于matlab实现PCA降维算法，可用于多维数据的损失最小化压缩，内附全代码
PCA完整程序（MATLAB）
09-07
该程序师完整的PCA程序，用MATLAB编写的，直接输入样本数据即可运行
matlab的PCA实现
06-20
PCA的matlab代码，用于降维。Z为数据标准化后的数据，所有的操作都是标准化以后的。之前好像设置错了积分，重新编辑了一下
【matlab】pca函数使用方法
Lin__coln的博客
09-08 7390
关于matlab中pca函数的使用说明
主成分分析法（PCA）MATLAB函数
05-17
PCA是根据特征相关程度即协方差值加上线性变换的原理，得到的变换特征向量对应的特征值代表特征成分贡献值大小。 协方差只对特征之间的线性关系敏感，协方差越大，就越可能被去除，所以PCA只能去掉线性相关特征。
PCA-matlab实现(详细注释)
11-28
降维算法PCA在matlab平台下的使用demo，采用自带函数，注释详细。
matlab利用PCA函数进行降维
10-31
由于本人最近需要处理的数据特征太多，导致分类不准确，特此学习了两天的PCA，找了许多资料。整理了各位博主的伪代码，并写成matlab程序，然后自己利用matlab自带的pca函数进行计算，两种方法进行比较，程序已全副武装，只需要导入自己数据就能运行。
使用MATLAB自带的PCA函数进行人脸识别-princomp_face_recognition.rar
08-13
使用MATLAB自带的PCA函数进行人脸识别-princomp_face_recognition.rar replyreload = ',' 2061347; 本帖最后由 heawjc 于 2013-5-7 01:25 编辑 目前网络上关于PCA的人脸识别大都是没有调用MATLAB自带的PCA接口来实现的，其实MATLAB已经实现了主成分分析的功能。 附件为使用MATLAB自带的PCA函数进行人脸识别的DEMO（包括人脸库），注：若使用2012a之前的版本（包括2012a）请下载3楼的附件。 发现当训练样本的比率为70%时识别率为96.67%，设置为75%时识别率可达100%。 游客，如果您要查看本帖隐藏内容请回复
PCA主成分分析实现方法Matlab
03-30
PCA主成分分析实现方法Matlab；详细请查看博客资料：http://blog.csdn.net/guyuealian/article/details/68487833
matlab中主成分分析算法（PCA）详解，附上人脸识别的具体实例.pdf
07-16
PCA（主成分分析）是一种统计方法，用于将高维数据转换为一组线性不相关的低维特征，同时保持数据集的主要信息。在MATLAB中，PCA常用于数据降维、特征提取和噪声消除，尤其在人脸识别领域有着广泛的应用。 PCA的...
PCA-Hotelling_机器学习_pca_PCA方法详解_
10-03
6. **应用实例**：PCA在图像处理、模式识别、金融数据分析、基因表达数据分析等多个领域都有广泛应用。 7. **Hotelling's T²**：详细解释Hotelling's T²统计量的计算和使用，以及如何结合PCA进行异常检测。 8. *...
MATLAB主成分分析（PCA）详解：深入理解与应用
其核心思想是通过正交变换将一组可能相关的变量转换为一组线性不相关的变量，这些新变量称为主成分。第一主成分具有最大的方差，能反映数据中的主要变异；后续的主成分依次具备最大的剩余方差，以此类推，直至达到所...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值