数学建模浅谈之主成成分分析（PCA）

        数学建模中数据处理类型的题目，给出的数据往往是高维冗余的，如果直接使用原始数据进行预测，预测所花费的时间会很长，而且预测的效果往往也会不好。因此，主成成分分析可以用来提取原始数据的特征，用提取后的特征在进行预测往往能达到较好的效果。

1、PCA原理       

        主成分分析，又称主分量分析、K-L变换，堪称特征抽取方法中的经典。主成分分析作为一种数学方法和有力的数据分析工具，几乎在所有学科中都有它的身影。一九九零年代，主成分分析引入到人脸识别领域后，随即挂起一阵旋风， 大家对其人脸图像数据的高效特征抽取能力爱不释手，因其不仅将图像数据的维数大大降低，而且还能取得很优的人脸识别效果。另一个例子是美国统计学家斯通利用美国1929-1938 年各年的17项原始国民经济发据（包含雇主补贴、消费资料、生产资料等等)，进行主成分分析后发现，主成分分析得出的三个新变量(即原来17个数据的特征抽取结果) 竟然就包含了原数据中97. 4%的信息！

PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。

知乎的这篇文章讲的很详细，网址PCA主成分分析学习总结 - 知乎 (zhihu.com)

简单来说， 将原始数据m 个 n 维样本 （X=（x1,x2,...,xm)降到 k （k<m）维，然后用降维后的数据进行预测等。

2、PCA实战-以辛烷值的预测为例matalb代码

clear all
clc

%% II. 导入数据
load spectra;

%% III. 随机划分训练集与测试集
temp = randperm(size(NIR, 1));
% temp = 1:60;
%%
% 1. 训练集——50个样本
P_train = NIR(temp(1:50),:);
T_train = octane(temp(1:50),:);
%%
% 2. 测试集——10个样本
P_test = NIR(temp(51:end),:);
T_test = octane(temp(51:end),:);

%% IV. 主成分分析
%%
% 1. 主成分贡献率分析     PCAVar   特征值
[PCALoadings,PCAScores,PCAVar] = pca(NIR);
figure
percent_explained = 100 * PCAVar / sum(PCAVar);
pareto(percent_explained)
xlabel('主成分')
ylabel('贡献率(%)')
title('主成分贡献率')

%%
% 2. 第一主成分vs.第二主成分   可以用于训练样本是否好的判断依据
[PCALoadings,PCAScores,PCAVar] = pca(P_train);
figure
plot(PCAScores(:,1),PCAScores(:,2),'r+')
hold on
[PCALoadings_test,PCAScores_test,PCAVar_test] = pca(P_test);
plot(PCAScores_test(:,1),PCAScores_test(:,2),'o')
xlabel('1st Principal Component')
ylabel('2nd Principal Component')
legend('Training Set','Testing Set','location','best')

%% V. 主成分回归模型
%%
% 1. 创建模型
k = 4;    %主成分设置为4个
betaPCR = regress(T_train-mean(T_train),PCAScores(:,1:k));    %前四列提取出来建立回归模型
betaPCR = PCALoadings(:,1:k) * betaPCR;
betaPCR = [mean(T_train)-mean(P_train) * betaPCR;betaPCR];
%%
% 2. 预测拟合
N = size(P_test,1);       %大家根据自己情况调整N值和P_test
T_sim = [ones(N,1) P_test] * betaPCR;         

%% VI. 结果分析与绘图
%%
% 1. 相对误差error
error = abs(T_sim - T_test) ./ T_test;
%%
% 2. 决定系数R^2
R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2)); 
%%
% 3. 结果对比
result = [T_test T_sim error]

%% 
% 4. 绘图
figure
plot(1:N,T_test,'b:*',1:N,T_sim,'r-o')
legend('真实值','预测值','location','best')
xlabel('预测样本')
ylabel('辛烷值')
string = {'测试集辛烷值含量预测结果对比';['R^2=' num2str(R2)]};
title(string)

3、结果展示

a 、主成分贡献图

 

 小编创作不易，你们的关注就是我前进的动力！关注我，后面会继续分享数学建模的很多干货！