一文彻底搞懂机器学习 - 聚类与降维（Clustering And Dimensionality Reduction）

于 2024-12-26 10:13:49 发布
阅读量964 收藏 26
点赞数 26
文章标签： 机器学习 聚类 支持向量机 人工智能 自动化 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/144735808
版权

**在机器学习中，聚类与降维是两个重要工具，它们能够帮助我们更好地理解和处理高维数据。**聚类通过将数据划分为不同的组来揭示数据的内在结构；降维则通过减少数据的维度来简化问题并保留关键信息。

聚类是一种无监督学习算法，通过将数据划分为若干组（簇），使得同一组内的数据点彼此相似，而不同组的数据点差异较大，从而揭示数据的内在结构。

降维是一种数据处理技术，旨在通过某种方法将高维数据转换为低维数据，同时尽量保留数据的原始信息，以便于数据的可视化、特征选择或加速计算等。

Clustering And Dimensionality Reduction

一、聚类

********聚类（Clustering）****是什么？****聚类是一种无监督学习的方法，用于将相似的对象（如数据点、样本、文档、图像等）集合分组成为多个类或簇（Cluster），使得同一簇内的对象尽可能相似，而不同簇之间的对象尽可能不同。

在聚类过程中，不需要事先指定任何标签或类别信息，聚类算法会自动根据数据本身的特征进行分组。

****聚类处理流程是什么？数据预处理、选择合适的距离度量、选择聚类算法、初始化聚类中心、迭代更新聚类中心、判断聚类结果、输出聚类结果

  1. 数据预处理：确保数据质量，通过清洗、转换、选择和划分，为聚类分析奠定坚实基础。

  2. 选择合适的距离度量：根据数据特性，选用合适的距离度量方法衡量样本间相似性。

  3. 选择聚类算法：依据数据特点和需求，挑选适合的聚类算法以揭示数据内在结构。

  4. 初始化聚类中心：为特定聚类算法（如K-means）设定并随机初始化聚类中心。

  5. 迭代更新聚类中心：通过重新分配数据点和计算新聚类中心，不断优化聚类结果。

  6. 判断聚类结果：根据停止条件，评估聚类结果是否满足预设要求。

  7. 输出聚类结果：将样本分配到不同聚类簇，并通过可视化展示聚类结果。

**聚类的算法有哪些？**K均值（K-means）、层次聚类（Hierarchical Clustering）、DBSCAN、谱聚类（Spectral Clustering）

**K均值（K-means）：**通过迭代将样本划分为K个簇，并更新每个簇的质心，直到满足收敛条件。

**层次聚类（Hierarchical Clustering）：**创建一个层次化的聚类树，可以是自底向上的凝聚方法，也可以是自顶向下的分裂方法。

**DBSCAN：**基于密度的聚类算法，能够识别任意形状的簇，并处理噪声数据。

**谱聚类（Spectral Clustering）****：**将聚类问题转化为图的最优划分问题，通过求解图的拉普拉斯矩阵的特征向量来进行聚类。

二、降维

**********降维（Dimensionality Reduction）**是什么？********降维在机器学习和统计学领域中，是指通过某种数学变换，将原始的高维属性空间转变为一个低维子空间的过程。

降维旨在减少数据集中的特征（变量）数量，同时尽量保留数据的主要信息和结构。

****降维处理流程是什么？数据预处理、选择降维方法、实施降维、结果评估和结果输出与应用

  1. 数据预处理：标准化/归一化是调整数据尺度，确保各特征在相同量级上比较。

  2. 选择降维方法：根据数据特性，挑选合适的PCA、SVD、t-SNE或LLE等降维技术。

  3. 实施降维：以PCA为例，通过计算协方差矩阵、特征值分解、选择主成分和数据转换，实现数据降维。

  4. 结果评估：利用重建误差和方差保留率等方法，确保降维后数据的信息完整性。

  5. 结果输出与应用：输出降维数据，用于后续分析、可视化或机器学习模型的构建。

降维的算法有哪些？线性降维方法（PCA、ICA、FA、SVD、LDA）、非线性降维方法（UMAP、Iso-map、Kernel PCA）

******线性降维方法是什么？******数据通过线性变换从高维空间映射到低维空间。

（1）主成分分析（Principal Component Analysis，PCA）

主成分分析（PCA）是一种通过正交变换将可能线性相关的原始变量转换为线性不相关的新变量的方法。这些新变量称为主成分，它们在保留原始数据大部分信息（通常80%以上）的同时，实现了数据的降维。

（2）独立成分分析（Independent Component Analysis，ICA）

独立成分分析（ICA）是一种用于多维信号分离的统计方法，旨在将多个混合信号分解为独立的成分。ICA假设原始信号是相互独立的，而不仅仅是相关性低的。

（3）因子分析（Factor Analysis, FA）

因子分析是一种统计方法，旨在探索观察到的变量之间的关系，通过假设这些变量是由少数几个不可观测的潜在因子（或称为“隐变量”）和特定噪声的影响共同生成的。

（4）奇异值分解（Singular Value Decomposition, SVD）

SVD是一种矩阵分解方法，可以将一个矩阵分解为三个子矩阵的乘积，常用于数据压缩、降维和信号处理等领域。

（5）线性判别分析（Linear Discriminant Analysis，LDA）

线性判别分析（LDA）是一种用于分类和降维的线性方法。它通过计算类内散列矩阵和类间散列矩阵，找到能够最大化类间差异和最小化类内差异的线性组合，即投影方向，从而实现数据的降维和分类。

******非线性降维方法是什么？******与线性降维方法相比，非线性降维方法更能有效地处理非线性结构的数据。

（1）统一流形逼近和投影（Uniform Manifold Approximation and Projection，UMAP）

UMAP（统一流形逼近和投影）是一种降维技术，它利用流形学习技术和拓扑数据分析思想，为处理流形学习和降维提供了一个非常通用的框架。UMAP可用于类似于t-SNE的可视化，但也可用于一般的非线性降维。

（2）等距映射（Isometric Mapping，Iso-map）

Iso-map（等距映射）是一种基于流形学习的非线性降维方法，它试图保留数据内在的由测地线距离蕴含的几何结构。

（3）核主成分分析（Kernel Principal Component Analysis，Kernel PCA）

Kernel PCA（核主成分分析）是一种非线性降维方法，它利用核技巧将线性不可分的输入空间映射到线性可分的高维特征空间中，然后在这个高维空间中进行主成分分析（PCA）。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓
在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

聚类之降维(Dimensionality Reduction)算法详解
白话机器学习
09-27 400
有时可能有几个不同的工程团队，也许一个工程队给你二百个特征，第二工程队给你另外三百个的特征，第三工程队给你五百个特征，一千多个特征都在一起，它实际上会变得非常困难，去跟踪你知道的那些特征，你从那些工程队得到的。假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
热门推荐
杨秀璋的专栏
07-06 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
机器学习之聚类（Clustering，包含k-means,DBSCAN等算法）
deepsprings的博客
06-09 711
聚类（Clustering） 文章目录聚类（Clustering）基本内容1. 关于主要思想（聚类任务）2. 关于聚类规则（聚类算法）2.1 划分方法（partitioning method）2.1.1 k-means 算法算法步骤编程实现结果心得优缺点2.1.2 高斯混合聚类2.2 层次方法（hierarchical method）2.3 基于密度（density-based method）2.3.1 具有噪声应用的基于密度的空间聚类（Density-Based Spatial Clustering of
吴恩达机器学习笔记-聚类(Clustering)
yangliu_w的博客
10-21 873
K-Means Algorithm K-均值是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据聚类成不同的组。K-均值是一个迭代算法，假设我们想要将数据聚类成n个组，其方法为:首先选择K个随机的点，称为聚类中心（cluster centroids）；对于数据集中的每一个数据，按照距离个中心点的距离，将其与距离最近的中心点关联起来，与同一个中心点关联的所有点聚成一类。计算每一个组的平均值...
特征工程——为什么要特征降维？特征降维有哪些方法？如何使用sklearn实现？
Ma Sizhou
03-12 7878
特征降维 1、降维 1.1 定义 降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程 降低随机变量的个数 相关特征(correlated feature) 比如，相对湿度与降雨量之间的相关，我们就可以只选择一个 正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大 1.2 降维的两种方式 特征选择 主成分分析（可以理解一种特征提取的方式） 2、特征选择 2.1 定义 数据中包含冗余或无关
单细胞数据高级分析之初步降维和聚类 | Dimensionality reduction | Clustering
weixin_34064653的博客
05-28 3237
个人的一些碎碎念： 聚类，直觉就能想到kmeans聚类，另外还有一个hierarchical clustering，但是单细胞里面都用得不多，为什么？印象中只有一个scoring model是用kmean进行粗聚类。（10x就是先做PCA，再用kmeans聚类的） 鉴于单细胞的教程很多，也有不下于10种针对单细胞的聚类方法了。 降维往往是和聚类在一起的，所以似乎有点难以区分。 PCA到底是...
漫谈 Clustering (番外篇): Dimensionality Reduction
smoothylx的专栏
02-28 1070
<br />由于总是有各种各样的杂事，这个系列的文章竟然一下子拖了好几个月，（实际上其他的日志我也写得比较少），现在决定还是先把这篇降维的日志写完。我甚至都以及忘记了在这个系列中之前有没有讲过“特征”（feature）的概念了，这里不妨再稍微提一下。机器学习应用到各个领域里，会遇到许多不同类型的数据要处理：图像、文本、音频视频以及物理、生物、化学等实验还有其他工业、商业以及军事上得到的各种数据，如果要为每一种类型的数据都设计独立的算法，那显然是非常不现实的事，因此，机器学习算法通常会采用一些标准的数据格式，
聚类和降维
不爱成长的笨蛋
12-09 5748
1.何为聚类 聚类是用于寻找数据内在的分布结构。既可以作为一个单独的过程，如异常检测等；也可作为分类等其他学习任务的前驱过程。聚类是标准的无监督学习。 在一些推荐系统中需要确定新用户的类型，但“用户类型”这个概念可能无法精确定义，此时往往会先对原有的用户数据进行聚类。然后根据聚类的结果将每个簇定义为一个类。然后在基于这些类别取进行相应的分类训练，以判断新用户的类...
机器学习之聚类降维Kmeans算法（吴恩达机器学习）
学习中
11-14 723
机器学习之聚类降维Kmeans算法（吴恩达机器学习）
大数据之数据挖掘课程：海量数据集挖掘 05-聚类算法 clustering 共53页.pdf
06-02
降维技术（Dimensionality Reduction） - **目的**：减少数据的维度，简化数据分析过程，同时尽可能保留原始数据的信息。 - **主要方法**： - 奇异值分解（SVD）：用于提取数据的主要特征。 - CUR分解：选择数据...
机器学习入门（12）——降维(Dimensionality Reduction)
strivequeen的博客
07-19 998
目标一：数据压缩（Motivation I_ Data Compression） 降维也是一种无监督学习问题。 数据压缩不仅允许我们压缩数据，还因使用较少的计算机内存或磁盘空间，加快我们的学习算法。 将数据从二维降至一维： 假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。现在的问题的是，两种仪器对同一个东西测量的结果不完全相等（由于误差、精度等），而将两者都作为特征有些重复，因而，我们希望将这个二维的
详解 R 语言的PCA与TSNE的降维聚类
Baimoc
04-22 5423
为了查看降维聚类的可视化效果，我们先用相似样本降维聚类，然后使用具有差异的样本查看聚类效果。 同时使用 PCA 与 TSNE 来观察两种不同方法的聚类效果。 文章目录一、相似样本的降维聚类1、载入所需的包2、构建两个相似样本数据集3、绘制热图4、绘制PCA5、绘制TSNE二、差异样本的降维聚类1、构建第三个具有差异的数据集2、绘制热图3、绘制PCA4、绘制TSNE全部代码 一、相似样本的降维聚类 1、载入所需的包 rm(list=ls()) library(pheatmap) library(Rtsne)
深度学习之降维和聚类
weixin_43775295的博客
10-28 1356
​ 选取专门用于测试分类、聚类算法的国际通用的UCI数据库中的IRIS数据集，IRIS数据集包含150个样本数据，分别取自三种不同 的莺尾属植物setosa、versicolor和virginica的花朵样本,每个数据含有4个属性，即萼片长度、萼片宽度、花瓣长度、花瓣宽度，单位为cm。​ 上图所示的只采用2个特征的线性分类器分错了一些训练样本，准确率似乎没有图2.21.1.e的高，但是，采用2个特征的线性分类器的泛化能力比采用3个特征的线性分类器要强。散落在角落的数据要比处于中心的数据难于分类。
聚类如何用于降维 简单概念
最新发布
qq_51011530的博客
12-10 857
是聚类在数据降维中的一种应用方式。
降维概述
Running Snail
11-30 2433
降维(dimensionality reduction)是指采用某种映射方法，将数据的特征维度从高维转换到低维。那么，为什么要进行降维呢？ 首先，我们碰到的很多数据是高维的。虽然原始数据是高维的，但是数据“内在的维数”可能更低。我们来看一个实际的例子。 假设我们现在要借助用户手机的通信数据来对用户价值进行分析。我们的通信数据包括用户入网时间、套餐价格、每月话费、每月流量、每月通话时长、欠费金额和欠费月份数等特征。在这里，每月话费、每月流量和每月通话时长具有相关性，且都表示的是用户的消费能力。欠费金额和欠费月
基于距离和密度的高斯核聚类算法研究（Matlab代码实现）
weixin_67304359的博客
06-30 951
文献来源：摘要 ：聚类是使数据在各种应用中变得有意义的重要领域，如处理卫星图像、从财务数据中提取信息，甚至处理社会科学中的数据。本文提出了一种新的聚类方法，称为高斯密度距离(GDD)聚类算法，该算法基于样本空间的距离和密度特性。该方法的创新之处在于，在没有任何先验信息和参数的情况下找到最佳可能的聚类。算法的另一个新颖之处在于，当在二维数据上执行时，它形成的聚类非常接近人类的聚类感知。GDD与当今最受欢迎的聚类算法有一些相似之处；然而，它利用高斯核和距离根据数据密度和形状形成聚类。
降维和聚类的区别
m0_71756640的博客
06-06 2828
降维和聚类的区别
机器学习 -- 非监督学习 之 Clustering
qq_32297631的博客
01-02 1208
机器学习之clustering
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值