【聚类/回归】聚类原理 及 实现

已于 2024-11-04 14:24:17 修改
阅读量155 收藏
点赞数
分类专栏： 机器学习 文章标签： 聚类 数据挖掘 机器学习
于 2022-05-06 20:17:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41413211/article/details/124605157
版权
机器学习 专栏收录该内容
30 篇文章 9 订阅 ¥15.90 ¥99.00
订阅专栏
本文介绍了聚类的基本概念，包括簇和原型，并探讨了评价聚类效果的外部评价指标如互信息AMI，以及内部评价。同时，提供了sklearn库中聚类算法如k-means、EM-GMM和mean-shift的实现概述。
摘要由CSDN通过智能技术生成

然后我比较懒，有的地方没提到的麻烦评论我再更新吧

目录

术语

评价标准的sklearn实现

外部评价

互信息AMI

内部评价

聚类代码实现

sklearn

EM-GMM

mean-shift

聚类的原理：聚类-原理_坠金的博客-CSDN博客

术语

簇：下图分别划分成了2簇，3簇

原型：样本中有代表性的点，比如这些簇有一个中心

原型聚类，prototypr-based clustering：假设簇的分布可以用一堆原型刻画

比如kmeans

评价标准的sklearn实现

这里暂时更sklearn的实现，后面有人催的话再更具体原理或者python的实现

了解本专栏 订阅专栏 解锁全文
【聚类/回归】高斯混合聚类EM-GMM的原理和python实现
qq_41413211的博客
05-09 1390
首先介绍作为模型的GMM原理，EM算法原理（用来迭代求解模型参数的）见另一篇博客 原理 先验概率： 事情还没有发生，根据以往经验（已知数据分布）来判断事情发生的概率 扔一个硬币，在扔之前就知道正面向上的概率为0.5 后验概率 事情已经发生了，判断事情的发生是由哪一种原因引起的 P( 你在东南大学 | 同学都是男的)，意为，已经发现身边同学都是男的，原因是你属于东大学生这个簇的可能性是 将后验概率用于聚类 假设一开始我们猜测有3个簇，那么对每个样本可以计算得到3个后验概率 ..
【聚类/回归】k-means 原理和python实现
qq_41413211的博客
05-06 391
随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心 算法过程： （1）随机选取K个对象作为初始聚类中心； （2）将数据样本集合中的样本按照最小距离原则分配到最邻近聚类； （3）根据聚类的结果，重新计算K个聚类的中心，并作为新的聚类中心； （4）重复步骤2.3直到聚类中心不再变化。 这个距离可以直接是 ((x-x0)^2+(y-y0)^2)^0.5这种 k近邻：分类和回归 监督学习 参考资料 机器学习中 K近邻法(knn)...
机器学习:什么是分类/回归/聚类/降维/决策
ZJQ的博客
08-21 3710
学习模式分为三大类：监督，无监督，强化学习 监督学习基本问题 分类问题 回归问题 无监督学习基本问题 聚类问题 降维问题 强化学习基本问题 决策问题
【聚类/回归】聚类-入门
qq_41413211的博客
05-05 405
参考：《机器学习》周志华 聚类和分类的区别： 分类：训练时会给标签，通过监督学习，使模型能够预测新数据属于什么类别 聚类：训练时没有标签，通过无监督学习，试图把数据分成几个不相交的子集 聚类的种类： 根据方法分为：原型聚类 / 密度聚类 / 层次聚类 根据同一个样本是否可以属于不同簇分为：软聚类 / 硬聚类 聚类的性能度量： 注意，现实中聚类的分类效果是主观的，大体上希望，离得近（相似度高）的在同一堆（簇）里边 外部指标： 将我们的结果和“参考模型”结果比较 参考模型：
Python 机器学习 基础 之 无监督学习 【聚类（clustering）/k均值聚类/凝聚聚类/DBSCAN】的简单说明
仙魁XAN
05-22 1704
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
【聚类/回归】KNN和k-means的区别
qq_41413211的博客
04-16 85
knn是分类算法，首先给定已经分好类别的数据，问测试数据属于哪一类。分类依据是投票法，看测试数据周边最多的是哪一类，则测试数据属于该类kmeans是聚类算法，给定数据无任何标签，算法猜测有几类，簇在哪，其过程类似熵增。
回归和聚类
潜行者的博客
03-04 1727
回归和聚类 概要：线性回归，欠拟合与过拟合，岭回归，分类算法：逻辑回归，模型保存与加载，无监督学习–K-means算法 线性回归 回归问题： 目标值 - 连续型的数据 1 线性回归的原理 1.1 线性回归应用场景 房价预测 销售额度预测 金融：贷款额度预测、利用线性回归以及系数分析因子 1.2 什么是线性回归 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点：只有一个自变量的情况称为单变量回归，大于一
回归与聚类——线性回归（一）
qq_37441377的博客
04-22 1391
（1）定义与公式线性回归(Linear regression)是利用回归方程（函数）对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式。
灰色关联度/模糊聚类/最邻近算法KNN/随机森林RF/极限学习机
qq_45475599的博客
09-12 956
学习笔记---灰色关联度、模糊聚类、最邻近算法、随机森林、极限学习机（此文档若有错误，欢迎指出）
【聚类/回归】线性回归的原理及python实现
qq_41413211的博客
05-18 355
经典的线性回归模型主要用来预测一些存在着线性关系的数据集。回归模型可以理解为：存在一个点集，用一条曲线去拟合它分布的过程。如果拟合曲线是一条直线，则称为线性回归。如果是一条二次曲线，则被称为二次回归。线性回归是回归模型中最简单的一种。 本教程使用PaddlePaddle建立起一个鲍鱼年龄预测模型。 在线性回归中： （1）假设函数是指，用数学的方法描述自变量和因变量之间的关系，它们之间可以是一个线性函数或非线性函数。 在本次线性回顾模型中，我们的假设函数为 Y’= wX+b ，其中，Y’表示模型的预测..
【聚类/回归】k最近邻KNN
qq_41413211的博客
05-29 448
前面学的kmeans中我们知道，一个实例属于哪一个簇，取决于它距离哪一个簇更近。 在kmeans中，一个样本属于哪一类，取决于它的邻居中出现的最多类别，即“投票法” k=3 红星=黄色 k=6 =紫色 实现 手写数字识别 cifar10 图像识别 这个数据是图像，根据上面的原理介绍很容易理解KNN怎么完成聚类的，那么又是怎么对图像分类的呢？有两种方法： （1）直接分类 本质是将图像的每个像素点的像素值作为特征 图像间的距离=每个对应位置的像素点的像素值差值的绝对值的和。
基于C++的k-均值聚类机器学习算法（不调包）
修行之路
11-09 929
基于C++的k-均值聚类机器学习算法（不调包）
数据挖掘（九）
快乐江小鱼的博客
11-10 732
支持线上学习的算法可以先用一条或少量数据进行训练，随着更多新数据的添加，更新模型。当我们尝试用程序获取里面的实际内容时，可能遇到各种困难，比如有很多逻辑是在后台运行的，调用JS库，应用样式表，用AJAX加载广告，在侧边栏增加很多内容等，这些功能增加了网站的复杂程度，增加了自动采集信息的难度。k-means中的k表示寻找多少个质心点，同时也是算法将会找到的簇的数量。已知目标类别的学习任务，叫做监督学习。不知道类别的情况下进行数据挖掘，这叫做无监督学习，偏重于探索、发现隐藏在数据里的信息，而不是用模型来分类。
数据挖掘在金融交易中的应用：民锋科技的智能化布局
2405_87249521的博客
11-07 392
未来，随着数据挖掘技术的发展和应用领域的拓展，民锋将持续推动金融行业的智能化创新，助力投资者在动态市场中获取优势。民锋的数据挖掘系统可以识别市场中的特定模式。例如，通过分析价格、交易量等指标，系统可以捕捉短期波动趋势，帮助投资者快速判断市场的上涨或下跌趋势，获取更具前瞻性的市场信息。民锋通过数据挖掘技术构建了智能推荐系统，能根据投资者的历史交易行为和市场数据，提供个性化的交易建议。系统通过多层次数据的实时监控，在市场出现波动异常时自动触发风险预警，帮助投资者提前调整投资策略，以规避潜在的市场风险。
数据挖掘（十）
快乐江小鱼的博客
11-10 920
作为图像数据来源，它含有6万张32像素见方的图像，有10种类型，每个图像都有一个RGB值。这个数据集已经分为训练集和测试集两部分，有5万张训练图像和1万张测试图片。每种类型含有1万张图片。数据集有airplane、automobile、bird、cat、deer、dog、frog、horse、ship和truck十种类型。对于去欸的那个图像中的物体，我们使用像素值作为神经网络的输入值，自动找到有用的像素组合，形成更高层级的特征，然后将其用于实际的分类。我们构建一个系统，接收图像，给出图像里面使什么物体。
机器学习与数据挖掘_使用梯度下降法训练线性回归模型
TengMMVP的博客
11-07 866
本次实验通过使用梯度下降法训练线性回归模型，实现了单变量线性回归的训练与预测。实验中，我们成功编写了基于梯度下降算法的代码，并通过图形展示了数据的分布情况及模型的拟合效果。在实验过程中，模型的权重参数和偏置参数通过多次迭代逐步更新，梯度下降法有效地减少了损失函数值。最终，模型收敛到了一个较好的参数组合，使得拟合曲线能够较好地反映数据的趋势。此外，通过绘制损失函数的变化图，我们直观地看到了随着迭代次数的增加，损失值不断下降的过程，验证了梯度下降算法的收敛性。
机器学习—矩阵乘法
yn3535_的博客
11-06 553
让我们来看看向量矩阵乘法，也就是当你把一个向量乘以一个矩阵，又得到一个向量，列向量a转置后得到行向量a，所以与其把这看作是一个2×1的矩阵，转置后就变成了1×2的矩阵，现在用这四个元素创建一个2×2的矩阵w，如果你想计算Z，Z=a转置W，结果z是一个2×1的矩阵，计算z的第一个值，我们要做一个a转置乘w1，所以要计算z的第一个元素，最终得到(1*3)+(2*4),然后计算第二个元素，现在将转置乘w2，，所以计算第二个元素，最终得到(1*5)+(2*6)。如何在向量之间取点积？
【线性代数】知识合集
最新发布
hiliang521的博客
11-10 334
【线性代数】知识合集
机器学习—为什么我们需要激活函数
yn3535_的博客
11-09 396
用一个更简单的例子来说明这一点，看一个神经网络的例子，其中输入x只是一个数字，有一个隐藏单位，参数w和b，输出一个，这里只是一个数字a[1]，然后第二层是输出层，它也只有一个输出单元，参数为w2 b2，输出一个a2，也就是一个数字，只是一个标量，它是神经网络f(x)的输出，如果用线性激活函数，g(z)=z，将x=a1计算，神经网络将使用a1=g(w)*x+b1，具体替换如下图所示，所以w只是一个线性函数而不是使用一个隐藏层和一个输出层的神经网络，还不如用线性回归模型，如果熟悉线性代数，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坠金

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值