机器学习15-2（Mini Batch Kmeans）

已于 2023-07-06 06:36:42 修改
阅读量1k 收藏 1
点赞数 4
分类专栏： MachineL 文章标签： 机器学习 batch kmeans
于 2023-06-24 18:08:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Roy_Allen/article/details/131333137
版权

文章目录

简介

  • 除了K-Means快速聚类意外，还有两种常用的聚类算法
    • 能够进一步提升快速聚类的速度的 Mini Batch K-Means 算法
    • 能够和K-Means快速聚类形成性能上互补的算法 DBSCAN 密度聚类

Mini Batch K-Means

  • 非常抱歉，需要先来一段理论基础做铺垫，速览即可！
  • 在 K-Means 的基础上增加了一个 Mini Batch 的抽样过程，每轮迭代中心点时，不再代入全部数据、而是代入抽样的Mini Batch进行计算
    • 第一轮先随机选出中心点，一般用 kmeans++ 选 ，更稳
    • 从数据集中随机抽取一些数据（batch_size），把他们分配给最近的质心
    • 根据小批量数据划分情况，更新质心
    • 停止迭代的条件也有所不同
  • 此处可以用梯度下降和小批量（Mini Batch）梯度下降之间的差异进行类比
    • 梯度下降过程中，我们代入全部数据构造损失函数，相当于代入全部数据进行参数的更新，就类似于K-Means 代入每个簇的全部数据进行中心点位置计算
    • 而在小批量梯度下降过程中，我们是借助小批数据构造损失函数并对参数进行更新，就类似于 Mini Batch K-Means 中利用小批数据更新中心点
  • 而 Mini Batch K-Means 的有效性，其实也和小批量梯度下降的有效性类似，那就是对于一组规律连贯的
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Roy_Allen
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
python 增量聚类_适合大数据的聚类算法Mini Batch K-Means
weixin_39737764的博客
12-16 1883
K-Means算法是常用的聚类算法，但其算法本身存在一定的问题，例如在大数据量下的计算时间过长就是一个重要问题。为此，Mini Batch K-Means，这个基于K-Means的变种聚类算法应运而生。大数据量是什么量级？通过当样本量大于1万做聚类时，就需要考虑选用Mini Batch K-Means算法。但是，在选择算法时，除了算法效率(运行时间)外，算法运行的准确度也是选择算法的重要因素。Mi...
MinibatchKmeans——牺牲精度换取效率的一种kmeans改良
toohardp的博客
05-15 806
毕设搞聚类，研究一下
机器学习13：聚类Mini Batch K-Means
matafeiyanll的博客
02-05 1108
聚类Mini Batch K-Means Mini Batch K-Means 原理 Mini Batch K-Means算法是K-Means算法的变种，采用小批量的数据子集减小计算时间。这里所谓的小批量是指每次训练算法时所随机抽取的数据子集，采用这些随机产生的子集进行训练算法，大大减小了计算时间，结果一般只略差于标准算法。 该算法的迭代步骤有两步： 1：从数据集中随机抽取一些数据形成小批量，把他...
06 聚类算法 - 代码案例二 - K-Means算法和Mini Batch K-Means算法比较
weixin_34366546的博客
12-08 1190
03 聚类算法 - K-means聚类04 聚类算法 - 代码案例一 - K-means聚类05 聚类算法 - 二分K-Means、K-Means++、K-Means||、Canopy、Mini Batch K-Means算法 常规操作： import time import numpy as np import matplotlib.pyplo...
聚类算法之Mini Batch K-Means 算法
jack_jay_du的博客
08-17 5175
定义 Mini Batch K-Means算法是K-Means算法的一种优化方案，采用小批量的数据子集减小计算时间，同时仍试图优化目标函数，这里所谓的小批量是指每次训练算法时所随机抽取的数据子集，采用这些随机产生的子集进行训练算法，大大减小了计算时间，与其他算法相比，减少了k-均值的收敛时间，小批量k-均值产生的结果，一般只略差于标准算法。 Mini Batch KMeans使用了一个种叫做M...
使用Mini-Batch-K-Means对图像进行压缩
weixin_42660173的博客
09-27 719
针对一张成都著名景点：锦里的图片，通过 Mini Batch K-Means 的方法将相近的像素点聚合后用同一像素点代替，以达到图像压缩的效果。 直接看代码 # -*- coding: utf-8 -*- """ Created on Thu Sep 27 09:31:20 2018 图像压缩--- MiNi-Batch-K-Means方法 原理：相近像素点进行聚类并用同一像...
机器学习K-means汇编.pdf
11-05
【机器学习】 在机器学习领域，聚类是一种无监督学习方法，用于探索数据的内在结构和模式。聚类分析不依赖于预先指定的类别标签，而是基于数据自身的特性进行分组。它广泛应用于数据挖掘、模式识别和图像分析等多个...
ClusterR：高斯混合模型，k均值，mini-batch-kmeans和k-medoids聚类
02-06
在数据分析和机器学习领域，聚类是一种常用的技术，用于无监督地将数据点分组到不同的类别中。本文将深入探讨ClusterR库，一个在R语言中实现的聚类工具，它提供了高斯混合模型（GMM）、k均值（K-Means）、mini-batch...
K-Means机器学习.rar
06-25
压缩包中的“K-Means机器学习”文件很可能是用Python编程语言实现的，可能包含了使用诸如NumPy和Pandas库进行数据处理，以及Scikit-Learn库中的KMeans模型进行聚类的代码示例。代码中可能包括了数据加载、预处理、...
毕业设计源码-基于Spark的Kmeans聚类算法优化.zip
09-26
【标题】"毕业设计源码-基于Spark的Kmeans聚类算法优化.zip"涉及的核心知识点是大数据处理技术和机器学习中的聚类算法。本项目利用Apache Spark框架，对K-means聚类算法进行了优化，适用于海量数据的分析和挖掘。 ...
机器学习__K均值算法.pptx
01-14
K均值算法是一种广泛应用的无监督机器学习算法，主要用于数据的聚类分析。它的目标是将数据集中的样本点分成K个不同的簇，使得每个簇内的点相互之间的相似度（通常用欧氏距离衡量）最大化，而不同簇之间的差异性最小...
【聚类算法】MiniBatchKMeans算法
热门推荐
yiyue21的博客
05-15 1万+
MiniBatchKMeans类主要参数 　　　　MiniBatchKMeans类的主要参数比KMeans类稍多，主要有： 　　　　1)n_clusters: 即我们的k值，和KMeans类的n_clusters意义一样。 　　　　2）max_iter：最大的迭代次数，和KMeans类的max_iter意义一样。 　　　　3）n_init：用不同的初始化质心运行算法的次数。这里和...
Minibach kmeans 方法
lv_tianxiaomiao的博客
03-13 1196
kmeans是一个基本的聚类方法，相信学过数据挖掘的都会懂这个算法 不过kmeans在数据量大的情况下会导致计算时间过长的问题， 所以自然而然的就会有相应的提高计算速度的方法出现 其实跟随机梯度下降的方法类似，也就是minibatch方法，基本上都一样 随机梯度下降是使用随机的样本来计算下降的梯度，而不是使用全局梯度 这个好处就是计算快，坏处就是局
机器学习之聚类算法（四）Mini Batch K-Means和DBSCAN密度聚类
繁华三千东流水不舍昼夜的博客
08-21 1609
DBSCAN(Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)是一种很典型的密度聚类算法，和K-Means这些一般只适用于凸样本集的聚类相比，DBSCAN既可以适用于凸样本集（简单点说集合里任意两点连接成的线段中的点也在集合中，那么就是凸集），也可以适用于非凸样本集。
Kmeans算法的经典优化——mini-batch和Kmeans++
hdx柿子的博客
03-27 590
感谢参考原文-http://bjbsair.com/2020-03-27/tech-info/7090/ mini batch mini batch的思想非常朴素，既然全体样本当中数据量太大，会使得我们迭代的时间过长，那么我们 缩小数据规模 行不行？ 那怎么减小规模呢，很简单，我们随机从整体当中做一个抽样， 选取出一小部分数据来代替整体 。这样我们人为地缩小样本的规模，不就可以提升迭代的速度了？ ...
机器学习/sklearn 笔记：K-means,kmeans++,MiniBatchKMeans，二分Kmeans
最新发布
qq_40206371的博客
11-22 2206
indices：形状为(n_clusters,) 在数据数组X中选择的中心的索引位置。对于给定的索引和中心，X[index] = center。centers：形状为(n_clusters, n_features) ，k-means的初始中心。sample_weight 是X中每个观测的权重。如果为None，则所有观测都被赋予相等的权重。样本到最近簇中心的平方距离之和，如果提供了样本权重，则按样本权重加权。（也就是KMeans里面fit的内容）类似于使用k_means++来进行。用来选择初始种子的数据。
第九章.聚类算法—K-MEANS，Mini Batch K-Means
weixin_45116749的博客
03-22 582
聚类算法：K-MEANS，Mini Batch K-Means
机器学习——K-Means聚类
T940842933的博客
08-01 6698
K-Means 算法是一种无监督的聚类算法，其核心思想是：对于给定的样本集，按照样本点之间的距离大小，将样本集划分为K个簇，并让簇内的点尽量紧凑，簇间的点尽量分开算法流程图如下：K-Means算法流程如图，以为例：我们需要将图(a) 中的样本点划分为两类，则K-means聚类过程如下：第 1 步：从M个数据对象中任意选择2个对象作为初始聚类中心，如图(b) 所示。
机器学习算法：知道canopy、K-means++、二分K-means、K-medoids的优化原理
黑马程序员官方博客
07-29 1323
对于每一个小批量，通过计算平均值得到更新质心，并把小批量里的数据分配给该质心，随着迭代次数的增加，这些质心的变化是逐渐减小的，直到质心稳定或者达到指定的迭代次数，停止计算。k-medoids只能对小样本起作用，样本大，速度就太慢了，当样本多的时候，少数几个噪音对k-means的质心影响也没有想象中的那么重，所以k-means的应用明显比k-medoids多。kernelk-means实际上，就是将每个样本进行一个投射到高维空间的处理，然后再将处理后的数据使用普通的k-means算法思想进行聚类。...
机器学习batch-size是什么
08-31
在机器学习中，batch_size是指每个训练批次中包含的样本数量。在训练神经网络模型时，我们通常将一定数量的样本作为一个批次输入到模型中进行计算和更新参数。batch_size的大小会影响模型参数的更新速度和训练效果。较小的batch_size可以加快参数更新的速度，但可能导致训练过程波动较大；较大的batch_size可以降低噪声干扰，但会使参数更新缓慢和增加内存开销。因此，我们需要根据具体情况选择合适的batch_size，并进行调优以达到最佳的训练效果。在实践中，通常将batch_size设置为2的整数次幂，如32、64、128、256等。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [机器学习中的batch_size是什么？](https://blog.csdn.net/u011699626/article/details/120352398)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [关于机器学习（深度学习）训练过程中 batch_size 的意义](https://blog.csdn.net/quicmous/article/details/130802357)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Roy_Allen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值