2022-2-18第四章机器学习进阶--聚类

最新推荐文章于 2025-03-26 13:20:19 发布
最新推荐文章于 2025-03-26 13:20:19 发布
阅读量544 收藏
点赞数
文章标签： 聚类 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45526009/article/details/123006186
版权

聚类的本质

聚类：实质上就是将一组多类数据，分成固定类别的方法，考虑到不同维度空间，之际就是数据的降维
在这里插入图片描述

主要内容

在这里插入图片描述

相似度

样本点到目标的距离其实是等级于样本点于此目标类别的相似度（不同的相似度计算方法适用于不同场景）

在这里插入图片描述

K-means

在这里插入图片描述
在这里插入图片描述步骤：
①指定初始类别，分别计算各样本到类别中心距离，取最小值距离作为此样本类别
②统计每个类别的样本均值，将次均值作为新的类别中心，不断迭代
③通过指定的迭代次数、簇中心变化率、最小平方误差作为判断循环终止的标准

存在问题：异常值、初值选择
在这里插入图片描述
一般采用方法：①异常值：过滤噪声
②初值选择：K_mean++算法，对于初值
在这里插入图片描述

K-means公式化解释

将各簇平方误差累加作为总体误差，目标函数越小越佳
在这里插入图片描述在这里插入图片描述注：K均值对于样本有一定要求（使用K-means的样本要求）
—由K各高斯分布混合得到的并且每个簇中的方差都相同

大样本采用minibatch

在这里插入图片描述

K-means衡量标准

在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述

YJF-NJU
关注
Play-with-Machine-Learning-Algorithms-master_机器学习_algorithms_
09-29
"Play-with-Machine-Learning-Algorithms-master" 是一个项目，旨在帮助初学者和进阶者深入理解并实践机器学习算法。这个项目覆盖了从基础到复杂的多种算法，是提升机器学习技能的理想资源。 首先，我们要了解机器...
唐宇迪-机器学习课程资料.rar
06-24
《唐宇迪-机器学习课程资料》是一份涵盖了广泛机器学习知识的综合教程，旨在帮助学习者深入了解和掌握这一前沿技术。这份资料集包含了多种资源，包括编程实践、基础知识讲解以及算法理论，为初学者和进阶者提供了...
聚类的本质
weixin_45547419的博客
04-05 338
###聚类 今天看EM聚类示例，以及实战案例是对王者荣耀的英雄进行聚类，突然意识到，聚类其实就是把他们的本质抽象出来，虽然表象有10000种，但其实质只有7种。聚类就是从表象中发现他们的本质。 白话机器学习之EM聚类 ...
分类与聚类的本质
weixin_43250623的博客
10-25 636
机器学习中有两类的大问题，一个是分类，一个是聚类。 分类 分类有如下几种说法，但表达的意思是相同的。 对于分类来说，在对数据集分类时，我们是知道这个数据集是有多少种类的。根据给定的数据集，训练出一个模式或者规则（把每个属性集x映射到一个预先定义的类标号y中就,是得到一个函数。），再使用该模型对新来的数据进行类别判断。 我们可以将分类看作是有监督的学习。通过学习来得到样本属性与类标号之间的关系。该学...
聚类方法概要
何足道的博客
07-03 645
本文主要简单介绍聚类的本质思想、用途及分类。 在最后给出各算法详细内容的链接。 一、概要 聚类算法是无监督学习中的典型算法。 通过训练不带标签的原数据，根据样本的相似度或距离将其归类，总结每一类的基本特征，从而了解实质。聚类本质是统计描述方法，建立建设，而非验证假设。 用一句古语来说，就是“物以类聚，人以群分”。 聚类的核心概念是相似度或距离，因为相似度或距离将直接影响聚类的结果，所以其选择会是聚类的根本问题，具体的选择取决于应用场景的特性。 常用的相似度或距离： 闵可夫斯基距离（简称闵氏距离，可以衍生
【人工智能与机器学习】——聚类（学习笔记）
HinsCoder的博客
12-15 962
我们之前学习的算法均是**有监督学习**（supervised learning），它的一个鲜明特征是通过给定的标签来学习从数据特征（如图像）到语义标签的映射关系。但在很多实际问题中，数据并没有语义标签，解决此类问题就要用到**无监督学习**（unsupervised learning）。 无监督学习有很多技术方向，聚类（clustering）是其中一个重要的方向。聚类的本质就是把特征相近的数据样本放到一起，达到“人以群分，物以类聚”的效果。将聚类应用在社交网络上，可以根据上网习惯特征，把行为习惯类似的用户
机器学习中分类与聚类的本质区别
wojiushimogui的博客
07-02 3万+
机器学习中分类与聚类的本质区别机器学习中有两类的大问题，一个是分类，一个是聚类。 在我们的生活中，我们常常没有过多的去区分这两个概念，觉得聚类就是分类，分类也差不多就是聚类，下面，我们就具体来研究下分类与聚类之间在数据挖掘中本质的区别。
十五、机器学习进阶知识：K-Means聚类算法
weixin_42051846的博客
12-04 2038
详细介绍了聚类的定义以及K-Means聚类算法的的主要原理，结合具体的实例来分别介绍Sklearn实现K-Means聚类的过程，最后说明算法存在的不足以及常见解决思路。
PCA降维与K-means聚类：机器学习课程实验python代码解析
资源摘要信息:"本资源是一套机器学习课程实验项目，涵盖了PCA降维算法和K-means聚类算法，并提供完整的Python源码及详细注释。PCA（主成分分析）是一种常用的数据降维技术，通过正交变换将一组可能相关的变量转换为...
机器学习进阶（10）：K-means的推导和算法理解
双鸭山•克里菲斯•北方孤星之堕
07-17 468
前言 聚类就是对大量未标注的数据集，按照数据的内在相似性将数据划分为多个类别，使得类别内的数据相似度较大，而类间相似度较小。 1 几种聚类常用距离 欧式距离： dist(X,Y)=(∑i=1n∣xi−yi∣p)1p \mathrm{dist(}X,Y)=\left( \sum_{i=1}^n{\left| x_i-y_i \right|^p} \right) ^{\frac{1}{p}} dist(X,Y)=(i=1∑n​∣xi​−yi​∣p)p1​ 一般的情况用欧式距离。 Jaccard相似系数： J(
聚类算法基本原理
保护大苹果
11-02 6799
聚类算法 聚类算法是无监督学习算法，在无监督学习中，目标属性是不存在的，我们是根据内部存在的数据特征，划分不同的类别，使得类别内的数据比较相似。 对数据进行聚类的思想不同可以设计不同的聚类算法，本章主要谈论三种聚类思想以及该聚类思想下的三种聚类算法。 本章主要涉及到的知识点有： “距离” K-Means算法 几种优化K-Means算法 密度聚类 算法思想：“物以类聚，人以群分” 本节首先通过聚类算法的基本思想，引出样本相似度这个概念，并且介绍几种基本的样本相识度方法。 算法思想 俗话说
分类与聚类的本质区别
大数据技术派
06-28 6387
数据分析挖掘或者说机器学习中，有聚类与分类的概念，这是两个大类的问题，有人平时可能没有过多的去关注两者的区别。认为，聚类就是分类，分类就是聚类？显然，是不对的。分类是根据...
聚类及聚类算法的分类
热门推荐
count_on_me的博客
08-29 7万+
一、聚类 1、聚类概念 聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同数据尽量分离。 2、聚类的目标 使同一类对象的相似度尽可能地大；不同类对象之间的相似度尽可能地小。 3、聚类和分类的区别 聚类技术通常又被称为无监督学习，因为与...
关于聚类类别数k的选择
竹生的专栏
08-29 1994
如何确定聚类的类别个数 由适当的阈值确定 根据数据点的散布图直观地确定类的个数 手肘法，利用核心指标SSE（sum of the squared errors误差平方和）在k增大时下降的斜率来判断，选取下降程度变化由剧烈到平滑的分割点，即肘部 SSE=∑i=1k∑p∈Ci∣p−m∣2SSE=\sum_{i=1}^{k}\sum_{p\in C_i}|p-m|^2SSE=i=1∑k​p∈Ci​∑​∣p−m∣2 轮廓系数法：轮廓系数（Silhouette Coefficient）结合了聚类的凝聚
【机器学习】聚类算法详细介绍（理论+图解）
CSDN 精品推荐
07-16 5382
  简 介：下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。   关键词：Python、机器学习 一、聚类算法的定义 像一些经典的算法比如随机森林、支持向量机这些算法我们都知道，他们都是基于对数据标签进行学习，但是往往有的时候我们获得的数据是没有标签的，只有特征列数据等，这个时候我们就不能够使用之前的算法进行建模，我们需要采用一种新的方式进行区分样本。 在生活中，可以采用人工的方式进行将数据分类，利用人的经验分析数据的结构..
《机器学习》赵卫东学习笔记 第4章 聚类分析（课后习题及答案）
weixin_41524411的博客
05-31 1万+
1.聚类分析的目的是什么? 聚类分析用于对未知类别的样本进行划分，将它们按照一定的规则划分成若干个类族，把相似(距高相近)的样本聚在同一个类簇中， 把不相似的样本分为不同类簇，从而揭示样本之间内在的性质以及相互之间的联系规律 2.讨论聚类与分析的关系 聚类算法将未标记的样本自动划分为多个类簇，但不会提供对每个类簇的语义解释，这部分解释就需要数据分析人员对聚类结果进行归纳总结，阐...
进阶版孟德尔随机化方法！遗传变异聚类+异质性检验，避免水平多效性带来的假阳性结果（PCMR）
weixin_49214410的博客
03-26 224
探究复杂性状之间的因果关系并确定疾病的因果风险因素，对于揭示各种疾病的病因学至关重要。孟德尔随机化 (Mendelian Randomization, MR) 是一种利用遗传变异作为工具变量（IVs）推断暴露因素（如血脂）与结局（如心血管疾病）间因果关系的统计方法。MR 本质的目标是去判断暴露是否会影响结局，这与一些队列观察性研究的目标是一致的（探索血脂是否会影响心血管疾病）。其核心假设是工具变量需满足以下条件：关联性：工具变量与暴露因素强相关；独立性：工具变量与混杂因素无关（如环境因素）；
2025.03.26【基因数据解析】| BackSPIN：高效基因聚类与过滤工具详解
03-26 537
在单细胞RNA测序(scRNA-seq)数据的分析中，BackSPIN（Backward SPIN）是一个创新的双向双聚类算法。该算法的核心思想是在聚类细胞的同时，将高表达基因聚集在一起，从而揭示细胞亚群和基因表达模式之间的复杂关系。BackSPIN通过计算每次分裂后每个簇中的平均基因表达量，并将每个基因分配到表达量最高的簇中，有效地识别出细胞亚群特异性的Marker基因。这种方法不仅提高了聚类的准确性，还为后续的生物学解释和实验验证提供了重要线索。
AIDD-人工智能药物设计-利用自动化机器学习（AutoML）方法促进计算机模拟的ADMET特性预测
最新发布
itwangyang520的博客
03-26 735
现有的AutoML方法中，Hyperoptsklearn是一个基于Scikitlearn的工具，能自动搜索最佳算法与超参数组合，适用于监督学习任务中的分类与回归。数据集包含了Caco2渗透性、Pgp底物识别、BBB渗透性、CYP酶抑制（包括CYP1A2、CYP2C9、CYP2D6、CYP3A4等）、HLM（人类肝微粒体）与RLM（大鼠肝微粒体）稳定性，以及hERG抑制等共11种ADMET特性。在所有ADMET特性预测中，HSL生成的模型在内部测试集上的AUC值均大于0.8，表现出优异的预测性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值