主成分分析的（Principal Components Analysis，PCA)多角度解析

1.问题的提出

PCA算法作为经典的机器学习算法，从提出到如今的几十年历史中，其所蕴含的思想一直伴随着机器学习算法的发展。这里我们从不同的角度探讨PCA能够图像用于的图像去噪、压缩和特征提取的数学原理和所包含的的物理含义。例如：（1）为何PCA对包含较小方差的高斯噪声图像具有较好去噪能力？（2）RPCA为何能够改进PCA在去噪时的缺陷？（3）为何PCA采用样本的协方差矩阵的前$k$个特征向量矩阵构造投影空间？

（1）特征提取
随着互联网的普及，人们所接触的数据量正以成千上万的倍数增长，自然而然产生了一个问题，在海量数据面前，我们能如何提取出关键的信息用以减少所需处理数据量，提升效率。以淘宝平台上品牌手机日记录数据为例：

手机品牌	浏览量	访客数	下单数	成交数	成交金额
华为	$N_1$ $F_1$ $X_1$ $C_1$ $J_1$ 小米 $N_2$ $F_2$ $X_2$ $C_2$ $J_2$ iphone $N_3$ $F_3$ $X_3$ $C_3$ $J_3$ 三星 $N_4$ $F_4$ $X_4$ $C_4$ $J_4$ 魅族 $N_5$ $F_5$ $X_5$ $C_5$ $J_5$ 从表中可知，下单数、成交数和成交金额，浏览量和访客量为强相关。于是上述5维的数据能够利用2维的数据较为准确的表示出来，PCA通过空间投影的方法解决了上述问题。 （2）图像去噪 加性噪声定义式： $${\text{L = A + E}}\begin{array}{*{20}{c}}{}&{}&{}&{\left( 1 \right)} \end{array}$$ 其中， $L$为污染图，$A$为纯净图,且为low-rank矩阵， $E$为噪声图像，且为稀疏矩阵。 PCA算法去噪的目标模型为： $$\mathop {\min }\limits_A \left\| {L - A} \right\|_2^2\begin{array}{*{20}{c}} {}&{}&{s.t{\kern 1pt} {\kern 1pt} {\kern 1pt} rank(A)\leqslant k} \end{array}\begin{array}{*{20}{c}} {}&{}&{}&{\left( 2 \right)} \end{array}$$ 通过优化目标函数，获得去噪图像。值得一提的是噪声矩阵 $E$中的元素的分布必须是方差较小的高斯分布，即噪声矩阵为高斯矩阵。此处存在两个疑问：在利用PCA算法用于去噪时（1）为何噪声矩阵的方差较小，（2）为何噪声矩阵必须为高斯矩阵，都将会在下文中一一解释。 2.PCA的求解过程 步骤一：提取多幅图像的特征向量，组合而成特征矩阵$Y = \left( {{y_1},{y_2}, \cdot \cdot \cdot ,{y_n}} \right) \in {R^{m \times n}}$。 步骤二：获得特征矩阵$Y$的协方差矩阵$M$，将协方差矩阵进行特征值分解，并提取按从大到小排序的特征值所对应的前$k$个特征向量组成特征向量矩阵$P \in {R^{n \times k}}$。 步骤三：将特征矩阵$Y$向特征向量矩阵$P$张成的投影空间中投影，获得投影特征$X \in {R^{m \times k}}$，即$X = YP,k<<n$. 由上述步骤可知获得投影特征$X$的维数远远小于特征矩阵$Y$的维数。从特征提取的角度来看，可以认为PCA算法提取出了特征矩阵 Y <script type="math/tex" id="MathJax-Element-44">Y</script>中其主要贡献的信息（通过特征值大小衡量），从图像去噪的角度看，PCA算法提取出了主要信息而忽略的信息可以认为是噪声。 PCA算法的求解关键在于投影空间的选取，即投影矩阵的获得，于是我们会有疑问：为什么选择样本协方差矩阵的特征向量构造投影矩阵？首先，我们知道投影空间选取的一般原则可归纳为：（1）投影特征在投影空间中应尽可能的分散，相似性较低，以保证投影特征包含更充分的信息，同时也能降低投影矩阵的维数；（2）投影矩阵应与原特征矩阵尽可能的接近，以减少信息的丢失。基于上述原则 PCA算法可以从最大方差理论，PCA算法的最小平方误差理解，继而推导出投影矩阵的最优形式（为了直观与方便，下文以二维情况为例进行讲解）。 3.PCA的最大方差理论解释 信号处理中认为信号具有较大的方差，噪声有较小的方差。 确定要放弃本次机会？ 福利倒计时 : : 立减 ¥ 普通VIP年卡可用 立即使用 PRIP 关注 关注 1 点赞 踩 4 收藏 觉得还不错? 一键收藏 知道了 1 评论 主成分分析的（Principal Components Analysis，PCA)多角度解析 目录问题的提出 PCA算法的最大方差理论解释 PCA算法的最小平方误差解释PCA算法的总结 1.问题的提出PCA算法作为经典的机器学习算法，从提出到如今的几十年历史中，其所蕴含的思想一直伴随着机器学习算法的发展。这里我们从不同的角度探讨PCA能够图像用于的图像去噪、压缩和特征提取的数学原理和所包含的的物理含义。例如：（1）为何PCA对包含较小方差的高斯噪声图像具有较好去噪能力？（2）RPC 复制链接 扫一扫 专栏目录 PCA主成分分析 提取主成分，过滤噪音 weixin_44746091的博客 08-26 2786 前一篇提到的人脸识别中，我们在使用SVM支持向量机做人脸分类之前使用到PCA提取人脸数据中的主要成分，降低计算的维度，那么具体PCA是如何提取的呢？下文了解一下。 PCA is a method to project data in a higher dimensional space into lower dimensional space by maximizing the variance of each dimension --wiki PCA is mostly used as a tool i 机器学习——PCA练习 joker_shy的博客 08-09 2185 数据集 这里用到的数据集是鸢尾花数据集 题目要求 1.　导入必要的库 2.　加载sklearn库自带的鸢尾花数据集 3.　将数据集划分为样本特征和样本类型 4.　构建PCA实例，其中n_components设置为2 5.　传入数据给模型 6.　打印输出所保留的n个成分各自的方差百分比 7.　对花的颜色进行特征分组，分为：[‘navy’, ‘turquoise’, ‘darkorange’] 8.　... 1 条评论 您还未登录，请先 登录 后发表或查看评论 图像去噪资源推荐 初步 liu6tot的专栏 12-11 2361 图像去噪问题是图像处理领域内的一个很经典的应用，围绕这一问题，提出了很多方法。 （简单易懂）PCA：Principal Component Analysis 主成分分析 qq_39214409的博客 05-18 1710 Principal Component Analysis（PCA）是一种数据降维方式，可以将n维数据降低到指定的k维。此时延伸出一个问题，为什么数据要进行降维操作。如 Figure 1 在我们常用的二维坐标系中，我们可以很容易的观察出二维数据的分布规律，从而判断出数据的特性。假设在此数据的基础上，加上z轴，每个数据点在z平面上的抖动非常小，则数据点在z轴的变化对于数据整体的特性影响很小。我们足以在x、y轴上观察到数据的主要规律，那么数据在z轴上的维度可以选择忽略。 PCA 与 Robust PCA区别 YongqiangGao的专栏 09-02 1万+ 之前的一篇博客对PCA的原理、特点进行了介绍以及用python实现了PCA。本篇博客对PCA和Robust PCA进行简单的区别。1.PCA主成分分析（PCA）可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，能将原有的复杂数据进行降维。最简单的主成分分析方法就是PCA，从线性代数的角度看，PCA的目标就是使用另一组基去重新描述得到的新的数据空间，通过这组新的基，能揭示与原有的数据间的关系 PCANoiseLevelEstimator_ＰＣＡ去噪_matlab图像处理_ 09-30 利用PCA对去噪水平进行性能测试，matlab编写，直接调用函数即可。 主成分分析(Principal components analysis)(Python) 05-31 主成分分析(Principal components analysis)是最常用的降维方法 算法步骤： （1）对所有样本进行中心化操作 （2）计算样本的协方差矩阵 （3）对协方差矩阵做特征值分解 （4）取最大的d个特征值对应的特征向量，构造... 主成分分析（PCA）：主成分分析（PCA）-matlab开发 05-31 主成分分析（PCA）是一种广泛应用于数据分析和降维的技术，主要目的是将高维数据转换成一组线性不相关的低维变量，这些新变量被称为主成分。PCA的主要目标是保留原始数据集中的最大方差，同时简化数据结构。在MATLAB... GEE中主成分分析PCA附带全部代码.pdf 最新发布 07-18 主成分分析(英语：Principal components analysis,PCA)是一种分析、简化数据集的技术。主 成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保 留低阶主成分，忽略高阶主成分... A tutorial on Principal Components Analysis 11-09 This tutorial is designed to give the reader an understanding of Principal Components Analysis (PCA). PCA is a useful statistical technique. 两种主成分分析（PCA）的python实现算法 06-27 主成分分析（PCA，Principal Component Analysis）是一种广泛应用的数据分析方法，主要用于高维数据的降维。它通过线性变换将原始数据转换成一组各维度线性无关的表示，即主成分，新生成的主成分是按照方差大小排序... Sparse PCA 稀疏主成分分析 dzhou的博客 12-06 3万+ SPCA 稀疏主成分分析 算法的思路推演 和 必要的数学证明 稀疏主成分分析（Sparse PCA）概述 u013363719的专栏 04-03 1万+ Hui Zou et al. 2006年发表在《Journal of computational and graphical statistics》上的文章“Sparse principal component analysis” [1] 首次提出SparsePCA 的概念，截止到目前（2014年4月3日）该文章已经被引用853次（参考谷歌学术搜索数据）[2]。 Literature “Sp sklearn机器学习之PCA降维案例一（噪声过滤） m0_45184077的博客 03-10 1044 1.导入相应包 from sklearn.datasets import load_digits from sklearn.decomposition import PCA from matplotlib import pyplot as plt import numpy as np 2.准备数据集 digits = load_digits() digits.data.shape 返回(1797, 64)，说明是由1797张长宽为8*8的照片。 3.绘制原始数据集 def plot_digits(dat 小波降噪详解 热门推荐 danxibaoxxx的博客 08-09 5万+ “小波”就是小的波形。所谓“小”是指它具有衰减性，而称之为“波”则是指它的波动性，其振幅正负相间的震荡形式。 小波在整个时间范围的幅度平均值是0，具有有限的持续时间和突变的频率和振幅，可以是不规则，也可以是不对称。 小波变换是时间（空间）频率的局部化分析，它通过伸缩平移运算对信号(函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的... 机器学习笔记（七）-主成分分析PCA Blessy_Zhu的博客 04-28 5980 这篇博文主要介绍了，PCA主成分分析。首先通过几何概念引出维度爆炸带来的问题，接下来通过PCA数据降维来解决之。在主讲PCA内容时主要介绍了：经典主成分分析、最大投影方差、最小重构距离，SVD奇异值分解。最后通过Python实现PCA。这篇文章就到这里了，欢迎大佬们多批评指正，也欢迎大家积极评论多多交流。 机器学习（2）——PCA（principal components analysis 主成分分析）降维 qq_41921709的博客 02-20 758 概念 PCA（principal components analysis）即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，... 机器学习之主成分分析PCA ysl的博客 08-07 345 主成分分析：主成分分析 （ Principal Component Analysis ， PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高纬数据投影到较低维空间。给定 n 个变量的 m个观察值，形成一个 n *m 的数据矩阵，n通常比较大。对于一个由多个变量描述的复杂事物，认识难度会很大，于是我们可以抓住事... 【图像去噪】基于matlab高斯+低通+巴特沃斯滤波虹膜图像滤波【含Matlab源码 501期】 订阅付费专栏（初级版），可赠送该付费专栏任意代码1份； 03-12 5378 高斯+低通+巴特沃斯滤波虹膜图像滤波 完整代码，直接运行，适合小白！可提供运行操作视频！ PRIP CSDN认证博客专家 CSDN认证企业博客 码龄9年 暂无认证 3 原创 56万+ 周排名 165万+ 总排名 1万+ 访问 等级 212 积分 6 粉丝 12 获赞 9 评论 46 收藏 私信 关注 热门文章 FDDL（Fisher discrimination dictionary learning）学习 10467 D-KSVD（Discrimination K-SVD） 3453 主成分分析的（Principal Components Analysis，PCA)多角度解析 2600 分类专栏 machine-learning 2篇 dictionary learning 2篇 最新评论 FDDL（Fisher discrimination dictionary learning）学习 m0_56958057: 把那条删了就行 D-KSVD（Discrimination K-SVD） Z_529: 你好博主，DKSVD的代码可以分享一下吗948685285@qq.com,万分感激 FDDL（Fisher discrimination dictionary learning）学习 fairyiiiiiiir: 您好，请问demo运行出现unknown sourse如何解决呢 FDDL（Fisher discrimination dictionary learning）学习 xipeng523: 请问有没有源码的使用教程 主成分分析的（Principal Components Analysis，PCA)多角度解析 szx19961012: 为何噪声矩阵必须为高斯矩阵呢 大家在看 钢铁百科：美标低合金A572Gr60钢板、A572Gr60力学性能 362 【Python-办公自动化】几分钟生成上万份合同（用此思路可以用于写作固定格式的文章） 246 使用 Hugging Face Transformers 创建文本生成模型 731 ChatGPT辅助学术论文中论证内容的获取和编写 代数类型 （Algebraic Types）浅析 最新文章 D-KSVD（Discrimination K-SVD） FDDL（Fisher discrimination dictionary learning）学习 2017年2篇 2016年1篇 目录 目录 分类专栏 machine-learning 2篇 dictionary learning 2篇 目录 评论 1 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 添加红包 祝福语 请填写红包祝福语或标题 红包数量 个 红包个数最小为10个 红包总金额 元 红包金额最低5元 余额支付 当前余额3.43元 前往充值 > 需支付：10.00元 取消 确定 下一步 知道了 成就一亿技术人! 领取后你会自动成为博主和红包主的粉丝 规则 hope_wisdom 发出的红包 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。 余额充值