机器学习-无监督算法之降维

已于 2023-10-14 10:33:57 修改
阅读量638 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 机器学习 算法 人工智能
于 2023-10-14 10:33:39 首次发布
桂林电子科技大学 计算机与信息安全学院 蒋熹煜
本文链接：https://blog.csdn.net/qq_61735602/article/details/133817927
版权
本文探讨了降维技术，如奇异值分解（SVD）、主成分分析（PCA）和t-SNE，强调了在高维数据处理中降低维度的原因，包括减少计算复杂性、提高泛化能力和可视化效果。同时提及了降维的优缺点和应用，如节省存储空间和图片压缩。
摘要由CSDN通过智能技术生成
  • 降维：将训练数据中的样本从高维空间转换到低维空间，降维是对原始数据线性变换实现的。
  • 为什么要降维？高维计算难，泛化能力差，防止维数灾难
  • 优点：减少冗余特征，方便数据可视化，减少内存。
  • 缺点：可能丢失数据，需要确定保留多少主成分

奇异值分解

  • 把一个矩阵拆成三个，对角矩阵起到拉伸作用，正交矩阵起到旋转作用。
  • A = UΣVT：U和V为正交矩阵，Σ为对角矩阵
Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值，然后开放得到奇异值 构成对角矩阵Σ
  • 应用：节省存储空间，降维，图片压缩

主成分分析

  1. PCA识别在训练集中占方差最大的轴
  2. 步骤
  • Z值化
  • 计算协方差矩阵，它的特征向量就是主成分
    • 利用SVD求特征向量
    • 基于特征值求特征向量
  1. 对角矩阵代表方差，其余代表相关性
  2. 缺点：分类问题效果不好

t-SNE

  1. 归一化
  2. 计算在二维空间中数据的相似度
  3. 将二维随机映射到一维，然后按照高纬度和低纬度相似度的差异，设计损失函数，用梯度下降来优化

在这里插入图片描述
常见降维算法

小蒋的学习笔记
关注
专栏目录
无监督学习：无监督降维
沈春旭的博客
06-14 8314
1.前言 如果输入样本x的维数增加的话，不论是什么机器学习算法，其学习时间都会增加，学习过程也会变得更加困难。例如，假设在一维空间的{0,1}区间里有5个训练样本。以相同的密度在d次维空间里配置相同种类的训练样本的话，最终的样本数目就达到了5^d个。如下图所示： 高维空间的一个例子。当维数d很大的时候，收集并计算多达5^d个的训练样本是相当 困难的。因此，在高维空间中，训练样本也
常用无监督降维方法简述
weixin_34387468的博客
04-17 820
Unsupervised Dimension Reduction Data with high dimension is always difficult to tackle. One hand is that it requires tremendous computation resource. On the other hand...
机器学习入门三（无监督学习中的降维算法）
weixin_73161549的博客
08-26 895
用wine数据集介绍并且了实践了主成分分析（PCA）、核主成分分析（KPCA）、t-SNE、MDS算法
机器学习—无监督学习—降维(简单入门与调库实现)
柳成荫
07-27 790
一、降维—数据压缩 这样做的问题在于，降维的算法只负责减少维数，新产生的特征的意义就必须由我们自 己去发现了。 二、主成分分析—PCA 主成分分析（PCA）是最常见的降维算法 在PCA中，要做的是找到一个方向向量（Vector direction），当把所有的数据都投射到该向量上时，希望投射距离均方差能尽可能地小。 方向向量是一个经过原点的向量，而投射误差是从特征向量向该方向向量作垂线的长度...
【无监督学习：数据降维】吴恩达机器学习（14）
verse_armour的博客
09-22 622
PCA
07-提交-无监督学习-降维-PCA-鸢尾花.pdf.zip
最新发布
06-19
标题 "07-提交-无监督学习-降维-PCA-鸢尾花.pdf.zip" 提示我们这篇文档可能涉及无监督学习中的降维技术，特别是主成分分析（PCA，Principal Component Analysis），并且以鸢尾花数据集为例进行讲解。鸢尾花数据集是...
无监督学习PCA降维处理和K-means聚类
01-20
常见的无监督学习算法： 降维： – 主成分分析PCA降维处理 聚类： – K-means（k均值聚类） 2、主成分分析 应用PCA实现特征的降维 ·定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的...
机器学习算法-无监督学习算法-基础示例代码【k-means、LDA、LLE、LSA、NMF、PCA、t-SNE、混合高斯分布等】
05-12
这是在机器学习中涉及到的无监督学习相关的算法，如：k-means、LDA、LLE、LSA、NMF、PCA、t-SNE、混合高斯分布等算法的基础示例代码，已经在博客中记录。建议结合主页专栏【Python从入门到人工智能】学习，效果会更...
人工智能-机器学习-代价敏感降维及其人脸识别应用研究.pdf
04-12
【标题】: "人工智能-机器学习-代价敏感降维及其人脸识别应用研究" 【描述】: "该研究聚焦于人工智能领域中的机器学习技术，特别是针对降维方法的成本敏感性改进，并探讨了这些方法在人脸识别领域的应用。" 【标签...
无监督学习——降维
大胖东的博客
08-21 1264
无监督学习——降维 PCA算法及其应用 1.主成分分析（PCA） 1.主成分分析(Principal Component Analysis,PCA) 是最常用的一种降维方法，通常用于高维数据集的探索与可视化，还可以用做数据压缩和预处理等。 2.PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为主成分。主成分能够尽可能保留原始数据的信息。 在介绍PCA的原理之前需要回顾涉及到的相关术语：...
经典无监督特征选择算法LaplacianScore算法matlab代码
03-17
特征选择是机器学习的一个重要领域，改代码是经典无监督特征选择算法LaplacianScore算法matlab代码，这里上传给大家下载，希望能对大家有所帮助
机器学习（十四）无监督学习：降维
weixin_53312629的博客
03-10 4192
本篇文章主要介绍了降维的相关内容，以及两个应用：数据压缩可以使得某些算法运行得更快；可视化部分则是将数据画出来并更好的理解他们。在使用 PCA 之前首先要进行数据预处理。PCA 所做的是尝试找到一个面或线，把数据投影到这个面或线上，以便于最小化平方投影误差。主成分数字选择中介绍了一种高效的方法来选择 k。文中总结了 PCA 的主要应用，也指出了两个误区并给出了相应的建议：使用 PCA 来防止过拟合可能会导致重要数据的丢失；在设计一个机器学习系统时，只有在原始数据训练学习算法不能达到目的时才考虑使用压缩表示。
经典算法笔记：无监督算法（聚类、降维）
湾区人工智能
12-25 1409
本文是吴恩达老师的机器学习课程[1]的笔记和代码复现部分（聚类、降维）。作者：黄海广[2]备注：笔记和作业（含数据、原始作业文件）、视频都在github[3]中下载。我将陆续将课程笔记和...
关于数据降维的一些经典算法
浴血重生-学习空间
01-21 8443
数据降维0 前言降维方法可分为有监督降维方法、半监督降维方法、无监督降维方法。LDA、Fisher分析、MFA、MMC、PCA、LPP
新兴机器学习算法：从无监督降维到监督降维
热门推荐
沈春旭的博客
06-18 1万+
1.前言 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高
无监督数据降维技术——线性判别分析
miaoyanmm的博客
09-09 1929
线性判别分析基本原理 线性判别分析（Linear Discriminant Analysis, LDA）是一种可作为特征提取的技术，它可以提高数据分析过程中的计算效率，同时，对于不适用于正则化的模型，它可以降低因维数灾难带来的过拟合。 LDA的基本概念与PCA非常相似，PCA试图在数据集中找到方差最大的正交的主成分分量的轴，而LDA的目标是发现可以最优化分类的特征子空间。LDA与PCA都是可用...
机器学习-原理、算法与应用pdf
06-23
本书首先介绍了机器学习的基本原理和理论，包括监督学习、无监督学习和半监督学习，以及常用的评价指标和模型选择方法。 在算法方面，本书详细介绍了机器学习中常用的算法，如决策树、贝叶斯分类器、支持向量机、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小蒋的学习笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值