关于用mapreduce做kmeans聚类以及python的numpy和list做矩阵、向量乘法的速度对比

最新推荐文章于 2021-03-01 04:11:52 发布
最新推荐文章于 2021-03-01 04:11:52 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 机器学习 文章标签： numpy python 机器学习 mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaocanxccc/article/details/49301185
版权
本文探讨了在K-means聚类中，使用MapReduce与Python的numpy和list进行矩阵、向量运算的速度差异。通过实验，发现在约4-5轮迭代后，中心点能够收敛。具体比较了numpy矩阵乘向量与python list实现的矩阵乘向量操作的效率。
摘要由CSDN通过智能技术生成
近期需要用到kmeans聚类：输入数据是每行100维的浮点数向量，共500万行；输出是300个类别（后期的输入可能扩大到数千万行，类别可能会扩大到1000类）。

需求是快速搞一版出来看看效果，因此决定用mapreduce+streaming写一个kmeans聚类。

方案 ：用mapreduce+streaming做聚类，语言使用py
最低0.47元/天 解锁文章
xiaocanxccc
关注
专栏目录
基于MapReduce实现的Kmeans算法(非调库)
回炉重造P的博客
07-11 4353
简单基于MapReduce实现了下KMeans。 算法思路 KMeans算法作为一种划分式的聚类算法，利用MapReduce进行实现的主要难点在于满足KMeans每次迭代划分过程的中间结果保存。 因此利用HDFS进行中心点的存储，以实现各节点间的数据共享。 基于MapReduce的KMeans算法流程如下： 随机分配簇，初始化中心点，存入HDFS。 Mapper中读取数据文件中的每条数据并与中心点进行距离计算，输出key为最近的中心点序号。 Reducer中进行归并，计算新的中心点，存入新的中心文件。 判
hadoop下实现kmeans算法——一个mapreduce的实现方法
06-09 9373
hadoop上进行kmeans聚类，一次迭代只使用一个mapreduce
用MapReduce实现KMeans算法
02-13
用MapReduce实现KMeans算法,数据的读写都是在HDFS上进行的，在伪分布下运行没有问题。文档中有具体说明。
mapreduce python实例_MapReduce程序实例（python）
weixin_39620535的博客
12-15 175
问题背景现在有两份数据，file1是校园新闻版块，每一条新闻点击记录；file2是校园新闻版块使用活跃度高的学生记录。用mr统计出某一天的点击记录里，使用ios/android手机的活跃学生的总的点击次数原始数据格式如下：file 1，校园新闻点击记录，记录了每一次学生点击校园新闻的行为格式：学号\t姓名\t手机端\t新闻id\新闻关键词20170001 xiaoming android 331 ...
基于MapReduce的Kmeans实现
04-03
这是我基于MapReduce实现的Kmeans算法，用Java语言，在一个完全分布式系统运行良好
使用MapReduce实现矩阵向量相乘
tbdp6411的专栏
05-27 1269
1  描述      假定有一个 n*n 的矩阵 M ，其第 i 行第 j 列的元素记为  。假定有一个 n 维向量 v ，其第 j 个元素记为  。于是，矩阵 M 和向量 v 的乘积结果是一个 n 维向量 x，其第 i 个元素  为         如：     要求输入： 11 22 33 33 44 55 66 77 88     输出： 0 220 1 4
聚类——k-means & MapReduce
佐井白白的微笑
01-07 4729
本内容整理自coursera，欢迎交流转载。 1.聚类——非监督学习的例子聚类指的是我们输入的数据是没有标签的，因此我们输入数据，然后聚类算法输出标签。聚类结果表示为聚类中心和范围。 聚类算法其实有很多限制，比方说有的实际类别相互交叉，不易区分： 有些聚类形式很难发现： 2.聚类算法——k-means算法流程： 随机初始化聚类中心； 根据观测点距离每个聚类中心的距离，把每个观测点分配给对应
政府领域的KMeans聚类算法：优化公共服务和政策制定
[政府领域的KMeans聚类算法：优化公共服务和政策制定](https://img-blog.csdnimg.cn/img_convert/afa3bfc5ccfc64fe1fe4c3e8d7db84e7.png) # 1. KMeans聚类算法概述** KMeans聚类算法是一种无监督机器学习算法，用于...
KMeans聚类算法的最佳实践：提升聚类结果质量的实用指南
[kmeans聚类算法python](https://img-blog.csdnimg.cn/img_convert/528d9a89dbbe7b50b9c542d764bdab19.png) # 1. KMeans聚类算法简介 KMeans聚类算法是一种无监督机器学习算法，用于将一组数据点划分为不同的组或簇...
K-means聚类算法介绍与利用python实现的代码示例
12-24
聚类 今天说K-means聚类算法，但是必须要先理解聚类和分类的区别，很多业务人员在日常分析时候不是很严谨，混为一谈，其实二者有本质的区别。 分类其实是从特定的数据中挖掘模式，作出判断的过程。比如Gmail邮箱里有垃圾邮件分类器，一开始的时候可能什么都不过滤，在日常使用过程中，我人工对于每一封邮件点选“垃圾”或“不是垃圾”，过一段时间，Gmail就体现出一定的智能，能够自动过滤掉一些垃圾邮件了。这是因为在点选的过程中，其实是给每一条邮件打了一个“标签”，这个标签只有两个值，要么是“垃圾”，要么“不是垃圾”，Gmail就会不断研究哪些特点的邮件是垃圾，哪些特点的不是垃圾，形成一些判别的模式，这样
KMeans聚类算法的并行化：利用多核计算加速数据聚类
KMeans聚类算法是一种无监督机器学习算法，用于将数据点分组到称为簇的相似组中。它通过迭代地分配数据点到最近的簇中心并更新簇中心来工作。KMeans算法的目的是最小化簇内数据点的平方误差，从而形成紧凑且分离的簇...
MapReduce实现KMeans
Yaphat的博客
02-23 2781
具体方法：k-means的每一次迭代都可以分为以下3个步骤。第一步：Map：对于每一个点，将其对应的最近的聚类中心 第二步：Combine：刚完成map的机器在本机上都分别完成同一个聚类的点的求和，减少reduce操作的通信量和计算量。 第三步：reduce：将同一聚类中心的中间数据再进行求和，得到新的聚类中心 k-means 聚类算法进行 MapReduce 的基本思路:对串行算法中
MapReduce的Kmeans聚类算法
潇洒子弦
05-23 2520
最近在网上查看用MapReduce实现的Kmeans算法，例子是不错，http://blog.csdn.net/jshayzf/article/details/22739063 但注释太少了，而且参数太多，如果新手学习的话不太好理解。所以自己按照个人的理解写了一个简单的例子并添加了详细的注释。 大致的步骤是： 1，Map每读取一条数据就与中心做对比，求出该条记录对应的中心，然后以中心的ID为
廖雪峰Python教程之mapreduce
qq_39662852的博客
11-21 397
1.map()函数 map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 def f(x): return x*x r = map(f, [1,2,3,4,5]) list(r) Out： [1, 4, 9, 16, 25] 2.reduce()函数 如果要把序列[1, 2, 3, 4, 5...
python中的map和reduce
记~忆~
07-09 797
下面的介绍是基于python2.7. MapReduce，好熟悉的名字！ 但我们今天要说的是map和reduce，这是2个python的内置函数。 我们先看看map是做什么用的 def map(function, sequence, *sequence_1): # real signature unknown; restored from __doc__ """ m...
python mapreduce框架_Python实现mapreduce程序
weixin_36439285的博客
03-01 1347
一：目的之前面试曾遇到面试官让用python代码实现mapreduce中最简单的demo WordCount,由于之前一直用java来写hadoop程序，突然转到python，是我产生了质疑，python与hadoop应该是不兼容的，即使写出来程序，到时候怎么运行?一头雾水最后导致面试失败。后来通过查阅资料，研究mapreduce的底层实现，发现尽管Hadoop框架是用Java编写的，但是为Had...
用MapReduce编程实现Kmeans聚类算法会出现的问题及改进意见
最新发布
06-08
使用MapReduce编程实现Kmeans聚类算法可能会出现以下问题： 1. 数据倾斜：在数据量大的情况下，可能会出现某些数据点的数量很多，导致计算该数据点的中心点的任务负载不均衡。 2. 迭代次数：由于Kmeans算法需要迭代多次才能收敛，因此可能需要进行多次MapReduce任务的调度，增加了计算时间。 3. 内存限制：在计算中心点时，需要将每个数据点与聚类中心点的距离进行计算，可能会导致内存不足。 改进意见： 1. 数据划分：可以将数据按照一定的规则进行划分，使得每个Map任务的数据负载均衡。 2. 局部聚类：可以在每个Map任务上先进行一次局部聚类，将数据划分到不同的聚类中心点中，然后再进行全局聚类，减少迭代次数。 3. 数据采样：可以对数据进行采样，减少数据量，从而减少计算时间和内存占用。 4. 增量计算：可以使用增量计算的方式，避免重复计算，从而减少计算时间和内存占用。 5. 改进算法：可以使用改进的Kmeans算法，如Kmeans++算法，来减少迭代次数和计算时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值