PCA推导

于 2020-09-18 18:07:50 发布
阅读量155 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jialeheyeshu/article/details/108670587
版权

jiajiadejiali21
关注
专栏目录
PCA详细推导
08-10
PCA，主成分分析，详细推导。
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
主成分分析(PCA)原理及推导
热门推荐
学无常师，负笈不远险阻
12-30 8万+
在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些问题：PCA、SVD、特征值、奇异值、特征向量这些关键词是怎么联系到一起的？又是如何在一个矩阵上体现出来？它们如何决定着一个矩阵的性质？能不能用一种直观又容易理解的方式描述出来？
详细推导PCA算法（包括算法推导必备的知识）
怪兽
01-26 3212
详细推导PCA算法1 PCA优化目标2 理论依据2.1 矩阵换基底2.2 拉格朗日乘子法2.3 协方差矩阵2.4 特征向量和奇异值分解2.4.1 特征向量2.4.2 奇异值分解2.4.3 特征向量和奇异值分解的关系3 PCA3.1 PCA推导3.2 PCA过程总结 本文主要思路如下： 1 PCA优化目标 PCA（主成分分析）是一种数据降维的方法，即用较少特征地数据表达较多特征地数据（数据压缩，P...
用python实现排列组合
destiny_python的博客
08-21 6万+
比如我们要实现1，2，3的排列组合，我们可以很容易写出来，如下表：     1个元素 2个元素 3个元素 不考虑顺序 123 1,2,3 12,13,23 123 考虑顺序 123 1,2,3, 12,21,13,31,23,32 123,132,213,231,312,321 用代码实现，首先是不考虑顺序的： #选取2
PCA的推导分析
01-14
简要是高斯模型的信号的重构，应用PCA进行的分析和证明
PCA降维算法讲解和公式推导
08-21
思路超清晰的PCA算法讲解笔记
PCA_PythonPCA_
09-29
python PCA算法原理推导，及源代码实现，并基于PCA算法实现图片压缩，附pdf文件说明
PCA 的思路和推导
qq_38330846的博客
05-07 3230
      PCA是一种较为常用的降维技术，PCA的思想是将n维特征映射到k维上，这k维是全新的正交特征。这k维特征称为主元，是重新构造出来的k维特征。在PCA中，数据从原来的坐标系转换到新的坐标系下，新的坐标系的选择与数据本身是密切相关的。其中，第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选取的是与第一个坐标轴正交且具有最大方差的方向，依次类推，我们可以取到这样的k个坐标轴。 ...
最通俗易懂的PCA主成分分析推导
u012526436的博客
06-30 2万+
前言 说到PCA你是不是第一时间想到的是对协方差矩阵做特征值分解，但是为什么这么做呢？之前看过的大部分PCA博文也都是只简单介绍了PCA的流程，对其中的推导过程与原理并没有详细介绍，这篇文章的目的是从数学的角度，手推PCA每一个步骤，帮助读者了解PCA的工作机制是什么。文中的某些数学公式，可能会对某些读者产生不适，我会尽可能的用白话把其中原理讲解的通俗易懂。 PCA简介 PCA（Prin......
主成分分析（PCA）原理总结
Tracy_Lee1993的博客
11-17 1978
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。 1. PCA的思想 　　　　PCA顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是n维的
Python 排列组合的计算
07-04 8万+
1. 调用 scipy 计算排列组合的具体数值A23=6,(32)=3A_3^2=6,\binom 32=3>> from scipy.special import comb, perm >> perm(3, 2) 6.0 >> comb(3, 2) 3.02. 调用 itertools 获取排列组合的全部情况数>> from itertools import combinations, permu
主成分分析（PCA）详解（附带详细公式推导）
Ἥλιος
08-08 1万+
主成分分析（PCA）详解 第十一次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的部分内容来自于网上资料，以及自己的一些见解。 预备知识： 这一部分首先介绍几何学中的投影长度计算以及线性代数中的协方差、矩阵的特征值与特征向量，最后介绍PCA的数据预处理和伸缩最大化问题。 计算投影长度 　　图中，红色点表示样例xixix_i...
主成分分析（PCA）算法的简单推导和实例
weixin_37824397的博客
03-10 2万+
问题1：为什么要降维？    我们在处理实际问题的时候，进行特征提取过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗计算资源。   问题2：降维的方法有哪些？ 特征降维一般分为两类：特征提取和特征抽取。特征选择就是简单的从高纬度的特征中选择其中一个子集来作为新的特征。特征抽取是将高纬度的特征经过一些函数映射到低纬度，将其作为新的特征。 我们常见的分析方法包括有因子分析和主成分
PCA的理解与公式推导
WYR_try的博客
09-10 1730
PCA的理解与公式推导 简介 pca 又称主成分分析，多用来做降维处理。如在二维坐标中，找一个方向向量Z，将样本数据，投影到方向向量中。原本的（x1,x2）就变成了（y1）,(x1,x2)的坐标基是 X1和X2轴，而(y1)的坐标基是寻找的方向向量Z。 如何寻找这个方向向量呢？ 从图中可以看到，我们只需要寻找一个方向向量Z使得样本在Z投影后的距离之和最小（图中蓝色的线段距离之和最小）。则Z就是...
主成分分析（PCA）推导过程及简单实例
技术分享
11-14 7104
本文对主成分分析（Principal Component Analysis，PCA）进行了详细的讲解，它是一种常用的数据降维算法，可以将高维度的数据降到低维度，去除噪声和部分关联特征。文中主要讲解了PCA中协方差矩阵的定义，以及PCA具体的实现步骤。此外，为了便于读者理解，提供了完整的实例。
kernel PCA的推导过程
最新发布
06-03
Kernel PCA（核主成分分析）是一种非线性的主成分分析方法，它通过将数据映射到高维空间，利用线性PCA方法对映射后的数据进行处理，得到非线性的主成分分析结果。 下面是Kernel PCA的推导过程： 假设我们有一个包含n个样本的数据集$X=\{x_1,x_2,...,x_n\}$，每个样本$x_i$有d个特征。我们的目标是将数据集X映射到一个m维的特征空间，其中m<d。 首先，我们定义一个核函数$K(x_i,x_j)$，它可以将两个样本映射到高维空间中的内积。常用的核函数有线性核函数、多项式核函数、高斯核函数等。 然后，我们定义一个中心化矩阵K，其中$K_{ij}=K(x_i,x_j)-\frac{1}{n}\sum_{k=1}^nK(x_i,x_k)-\frac{1}{n}\sum_{k=1}^nK(x_j,x_k)+\frac{1}{n^2}\sum_{k=1}^n\sum_{l=1}^nK(x_k,x_l)$。这个矩阵可以看作是样本之间的相似度矩阵，同时也是一个半正定矩阵。 接着，我们对中心化矩阵K进行特征值分解，得到特征值$\lambda_1,\lambda_2,...,\lambda_n$和对应的特征向量$\phi_1,\phi_2,...,\phi_n$。其中，特征向量$\phi_i$是映射到高维空间中的第i个主成分。 最后，我们将原始数据集X映射到m维的特征空间中，得到新的数据集$X'=\{\phi_1(x_1),\phi_2(x_2),...,\phi_m(x_n)\}$。这个数据集就是经过非线性主成分分析处理后得到的结果。 总的来说，Kernel PCA的推导过程就是先定义核函数，然后通过中心化矩阵和特征值分解得到映射到高维空间中的主成分，最后将原始数据集映射到新的特征空间中得到结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值