PCA梯度上升法

最新推荐文章于 2023-09-11 08:56:34 发布
最新推荐文章于 2023-09-11 08:56:34 发布
阅读量160 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hadeson12343/article/details/107508815
版权

在这里插入图片描述
首先，取得数据
求一列的均值：在这里插入图片描述
这个函数是用来求x的每一个元素减去对应列均值的最后矩阵的，其中，当axis=0时，求的是列的均值，当axis=1时，求的是行的均值。
在这里插入图片描述
一、这是我们的目标函数~：1/m*（x*w）^2
二、初始化w向量在这里插入图片描述
其中，初始化的w向量不能为零向量（虽然在昨天学的梯度下降法中是可以的）

三、不能使用StanderdScaler标准化变量，因为PCA求主成分的时候是想求一个轴，使样本映射上去的时候方差最大，但标准化之后方差就唯一了，方差的最大值就不存在了
四、我们求梯度的方法，在这里我们列举了两种：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
两种方法，我们可以自由选择调用到gradient_ascent，来找寻极大值

橙子和甜甜的小屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
主成分分析PCA 与 梯度上升法
石中路的博客
04-12 522
什么是PCA 主成分分析，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。在数据压缩消除冗余和数据噪音消除领域都有广泛应用。 具体的，假如我们的数据集是n维的，共有m个数据(x(1),x(2),…,x(m))。我们希望将这m个数据的维度从n维降到n’维，希望这m个n’维的数据集尽可能的代表原始数据集。我们知道数据从n维降到n’维肯定会有损失，但是我们希望损失尽可能的小。那么如何让这...
5.PCA与梯度上升法
weixin_41207499的博客
01-17 237
07 PCA(主成分分析)之梯度上升法
dz4543的博客
02-01 965
上篇讲的是PCA基于矩阵操作方法的实现，本文讲的是基于梯度上升法实现的PCA。 PCA之梯度上升法PCA原理主成分分析PCA均值归零（demean）映射轴和方差梯度上升法代码实现单个主成分分析多个主成分分析 PCA原理 假设现有样本的分布如下图所示。 样本有两个特征，也就是二维的数据：特征1和特征2，如果对样本进行降维，首先可以考虑基于坐标轴进行降维。会有如下两种方式：舍弃特征1，只保留特征2，...
PCA与梯度上升法
Debroon
06-10 587
PCA与梯度上升法   PCA：主成分分析算法，具体记录在：《特征值分解实验：人脸识别与PageRank网页排序》，本质就是矩阵的特征值分解。 PCA 是一个非监督学习的算法，主要用于数据降维，方便人类理解、可视化、去噪。 而梯度上升法，作用于最大化一个效用函数。 举个例子，二维平面的降维： 那怎么把二维降到一维呢？选一个特征即可，另一个特征扔调。 降到特征1：所有点都在X轴上，二维平面变成一条横线。 降到特征2：所有点都在Y轴上，二维平面变成一条竖线。 对比以上俩者，发现降维.
31-使用梯度上升法求解PCA问题
qq_41033011的博客
10-16 400
前言   在上一篇博客中主要介绍了 PCA 这种方法对数据进行降维它的一般性的原理，我们将 PCA 这样的一个问题规约成了求一个目标函数的最大值这样的一个问题。回忆一下，我们要想求出一个目标函数的最大值，我们就可以使用梯度上升法来解决。   这篇博客主要就是来推导一下梯度上升法解决 PCA 问题相应的公式。 推导过程   在这里，我们的目标就是：   这里我们不再用 JJJ 来表示了，因为 JJJ 主要是用来描述损失函数的。如果我们要使用梯度上升法求解的话，那么关键就是要求这个梯度。对于上面的式子来说，
1使用梯度上升发求解主成分_pca_sklearn_
10-03
PCA（主成分分析）是一种广泛应用于数据降维的技术，它通过线性变换将原始高维数据转换为一组按方差递减排序的正交新坐标系，即...在实际应用中，`sklearn`的`PCA`类会自动完成这些计算，无需用户手动实现梯度上升法。
PCA实战1
08-03
在本文中，我们将通过实战演示如何使用梯度上升法求解PCA，并探讨PCA的几个关键步骤。 首先，PCA的目标是找到数据的主要成分，即能够最大化方差的方向。在给定的描述中，我们看到PCA的求解过程中使用了梯度上升法。...
机器学习之主成分分析PCA数据降维
01-20
1 基本概念 PCA即主成分分析技术。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析PCA是一种简化数据集的技术。...1.主成分分析使用的是梯度上升法
机器学习入门专栏笔记对应jupyter notebook以及封装的各种算法
03-08
包含：jupyter notebook、numpy、matplotlib的使用以及常见函数，KNN算法，线性回归算法，梯度下降算法（随机梯度下降算法），PCA与梯度上升法，多项式回归与模型泛化，逻辑回归，评价分类，SVM，决策树，集成学习与...
ICA快速算法原理和程序.zip_fastica_峭度最大化_峭度的ICA_非高斯性
09-24
这一步通常涉及迭代优化过程，如梯度上升法或牛顿法，以逐步调整变换矩阵，直到达到局部或全局最优解。 **负熵** 负熵是另一个衡量非高斯性的指标，它定义为信号分布的熵与其对应的高斯分布熵之差。如果一个分布的...
机器学习(七) PCA与梯度上升法 (上)
侠道
08-29 379
一、什么是PCA 主成分分析 Principal Component Analysis 一个非监督学的学习算法 主要用于数据的降维 通过降维，可以发现更便于人类理解的特征 其他应用：可视化；去噪 第一步：将样例的均值归零（demean） 二、使用梯度上升法求解PC...
实现基于梯度上升法的PCA
weixin_44264662的博客
09-29 145
实现基于梯度上升法的PCA 参考bobo老师的机器学习课程，进行总结回顾 目录 基于梯度上升法的PCA原理 实现基于梯度上升法实现的PCA 用自制数据集验证手写的PCA 基于梯度上升法的PCA原理 PCA(Principal Component Analysis)：主成分分析 可以用于数据降维，重新确定数据所在的空间的基，保留k个方差最大的基。 故我们要找到令数据方差最大的基 即寻找使样本空间...
机器学习-PCA与梯度上升法
IT_Z7aaaaaaaaaa的博客
10-22 272
PCA与梯度上升法1 什么是PCA2 使用梯度上升法求解PCA问题3 求数据的主成分PCA4 求数据的前n个主成分5 高维数据映射为低纬数据6 scikit-learn中的PCA7 试手MNIST数据集8 使用PCA对数据进行降噪9 人脸识别与特征脸 1 什么是PCA 梯度下降法寻找一个目标函数的最优解（最小值、最大值），梯度寻找还应用在主成分分析（Principal Component Anal...
机器学习：PCA（使用梯度上升法求解数据主成分 Ⅰ ）
ab1213456的博客
06-09 222
一、目标函数的梯度求解公式 PCA 降维的具体实现，转变为： 　　 方案：梯度上升法优化效用函数，找到其最大值时对应的主成分 w ； 效用函数中，向量 w 是变量； 在最终要求取降维后的数据集时，w 是参数； 　1）推导梯度求解公式 变形一 　　　　 变形二 　　　　 变形三：向量化处理 　　　　 ...
梯度算法之梯度上升和梯度下降
weixin_33857230的博客
12-13 644
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 第一次看见随机梯度上升算法是看《机器学习实战》这本书...
《机器学习实战》第五章梯度上升算法的直观理解
t15600624671的博客
11-20 1750
转载自：http://www.jianshu.com/p/eb94c60015c7第五章讲的是Logistic 回归，作者提出了梯度上升算法，本文是对该算法的一个通俗易懂的解释，不需要任何梯度的知识就能理解简单描述问题给定一个样本集，每个样本点有两个维度值（X1，X2）和一个类别值，类别只有两类，我们以0和1代表。数据如下所示：样本 X1 X2 类别1 -1.4 4.7 1 2
梯度上升与极大似然估计
u010484388的博客
05-26 604
https://www.cnblogs.com/lxs0731/p/8573044.html https://blog.csdn.net/u014182497/article/details/82252456 https://www.cnblogs.com/lxs0731/p/8573044.html
机器学习入门教学——梯度下降、梯度上升
最新发布
计算机硕士的博客
09-11 3653
梯度下降、梯度上升的简单概述。
PCA实战：梯度上升法求解主成分分析
"PCA实战1：使用梯度上升法求解主成分分析" 主成分分析（PCA）是一种常见的数据分析技术，用于降维和发现数据集的主要结构。在本实例中，我们将通过编程实现PCA，特别是在二维数据上使用梯度上升法来寻找最大化方差...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值