主成分析（PCA，待完善）

JY丫丫

于 2020-09-15 16:38:54 发布

阅读量188

点赞数

分类专栏： J_机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/xu380393916/article/details/105808344

版权

J_机器学习专栏收录该内容

11 篇文章 2 订阅

订阅专栏

第23章降维算法：PCA主成分分析

概述

无监督
方差

在这里插入图片描述

计算流程与实例

数据
5个数据，2个特征

向量表示

在这里插入图片描述

基变换

在这里插入图片描述

基变换

在这里插入图片描述

变换解释

在这里插入图片描述

基变换

$p_i$ ：基向量
$a_i$ : 向量
在这里插入图片描述

找到合适的基

方差越大，越来越分散
协方差： a，b特征之间的关系，范围【-1，+1】。
+1 表示两个特征之间的投影相似度很高，
-1 则投影相似度非常低

0中心化，在这里插入图片描述

协方差

在这里插入图片描述

10维度降到2维度
10维度数据，降为为2维度。
用方差最大，那么2个维度的数据方向是相近的
x，y 的协方差非常接近 +1
10维度降到4维度
仍然使用方差最大，结果仍然是数据的

使用方差最大，不管是降到几维度，那么所有的降维结果，在第一个方差A最大的出现后，剩下的会尽可能的去接近A，表现为在方差A的方向上的投影最大

协方差
0 的时候，两个维度是互相垂直，相互独立

在这里插入图片描述
i：样本
j，k：第 j, k 个特征

PCA 求解

优化目标

在这里插入图片描述
方差尽可能大
协方差为0

协方差
方差

对角化

非对角线位置的值，化成 0
在这里插入图片描述
越大的，权值越高

对角化化简

在这里插入图片描述

如，算出 N 个特征向量，然后，进行排序，取前面的K个重要的特征，便实现降维。
在这里插入图片描述

PCA 计算实例

在这里插入图片描述

数据
5个数据，2个特征

在这里插入图片描述

特征值与特征向量
这个是关于协方差矩阵 的特征值与特征向量

降成一维度
计算出特征值后，选择特征值大的那个对应的特征向量，然后用它进行单位化，之后降维

在这里插入图片描述

对角化
性质

与LDA

更LDA类似。
但是PCA通过方差与协方差，而LDA是通过类别

代码实例

归一化，标准化，正太分布处理。

疑问

降维实例中，各个步骤的意义？？

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。