【甘道夫】MapReduce实现矩阵乘法--实现代码

最新推荐文章于 2022-02-28 14:16:19 发布
最新推荐文章于 2022-02-28 14:16:19 发布
阅读量943 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fulongfbi/article/details/26000431
版权
本文提供了使用MapReduce实现矩阵乘法的详细代码，包括MMDriver、MMMapper和MMReducer三个关键类。编程环境基于Java 1.7、Eclipse Kepler、Hadoop 2.2.0等，代码适用于分布式计算，适合学习和参考。
摘要由CSDN通过智能技术生成
之前写了一篇分析MapReduce实现矩阵乘法算法的文章： 【甘道夫】Mapreduce实现矩阵乘法的算法思路

为了让大家更直观的了解程序执行，今天编写了实现代码供大家参考。


编程环境：

java version "1.7.0_40"

Eclipse Kepler

Windows7 x64

Ubuntu 12.04 LTS

Hadoop2.2.0

Vmware 9.0.0 build-812388


输入数据：

A矩阵存放地址：hdfs://singlehadoop:8020/wordspace/dataguru/hadoopdev/week09/matrixmultiply/matrixA/matrixa

A矩阵内容：
3 4 6
4 0 8

B矩阵存放地址：hdfs://singlehadoop:8020/wordspace/dataguru/hadoopdev/week09/matrixmultiply/matrixB/matrixb

B矩阵内容：
2 3
3 0
4 1


实现代码：

一共三个类：

  • 驱动类MMDriver
  • Map类MMMapper
  • Reduce类MMReducer

大家可根据个人习惯合并成一个类使用。


  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 
            
            
            

             
             
             package 
             
             
             dataguru
             
             
             .
             
             
             matrixmultiply
             
             
             ;
            
            
            

            
            
            


            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.conf.Configuration
             
             
             ;
            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.fs.FileSystem
             
             
             ;
            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.fs.Path
             
             
             ;
            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.io.Text
             
             
             ;
            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.mapreduce.Job
             
             
             ;
            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.mapreduce.lib.input.FileInputFormat
             
             
             ;
            
            
            

            
            
            

             
             
             import 
             
             
             org.apache.hadoop.mapreduce.lib.output.FileOutputFormat
             
             
             ;
            
            
            

            
            
            


            
            
            

            
            
            

             
             
             public 
             
             
             class 
             
             
             MMDriver 
             
             
             {
              
            
            
            

            
            
            
	
            
            
            

            
            
            
	
             
             
             public 
             
             
             static 
             
             
             void 
             
             
             main
             
             
             (
             
             
             String
             
             
             [] 
             
             
             args
             
             
             ) 
             
             
             throws 
             
             
             Exception 
             
             
             {
              
            
            
            

            
            
            
		
            
            
            

            
            
            
		
             
             
             // set configuration
            
            
            

            
            
            
		
             
             
             Configuration 
             
             
             conf 
             
             
             = 
             
             
             new 
             
             
             Configuration
             
             
             ();
            
            
            

            
            
            


            
            
            

            
            
            
		
             
             
             // create job
            
            
            

            
            
            
		
             
             
             Job 
             
             
             job 
             
             
             = 
             
             
             new 
             
             
             Job
             
             
             (
             
             
             conf
             
             
             ,
             
             
             "MatrixMultiply"
             
             
             );
            
            
            

            
            
            
		
             
             
             job
             
             
             .
             
             
             setJarByClass
             
             
             (
             
             
             dataguru
             
             
             .
             
             
             matrixmultiply
             
             
             .
             
             
             MMDriver
             
             
             .
             
             
             class
             
             
             );
            
            
            

            
            
            
		
            
            
            

            
            
            
        
             
             
             //  specify Mapper & Reducer
最低0.47元/天 解锁文章
FBI启示录
关注
gandalf-lint:错误代码不得通过
05-04
甘道夫皮棉 错误代码不得通过 安装 NPM： npm install --save-dev eslint @softboxlab/eslint-config-gandalf-lint 纱： yarn add --dev eslint @softboxlab/eslint-config-gandalf-lint 要求 ^5.0.0 ^5.12.0 ...
MapReduce实现矩阵乘法
热门推荐
沉潜飞动
10-10 2万+
在海量数据中淘金，已是各大互联网公司的既定目标，亚马逊是数据化运营的成功典范，Google、百度投巨资用于对海量数据进行深度学习研究，阿里把数据与平台、金融并列成为未来三大战略。想在海量数据中淘到金子，强大的挖掘工具是必不可少的，而诸如回归、聚类、主成分分析、决策树等数据挖掘算法常常涉及大规模矩阵运算。这其中，大矩阵乘法具有较大的时间消耗，是算法的瓶颈。所以将矩阵乘法移植到分布式系统中进行运算，可谓是基本需求，所以本文暂且从最基础开始，简单介绍使用MapReduce实现矩阵乘法的方式。
MapReduce编程： 2. 矩阵乘法
叶小东的博客
03-17 3531
MapReduce编程： 2. 矩阵乘法
用MapReduce实现矩阵乘法
Make progress step by step everyday.....
01-01 1388
用MapReduce实现矩阵乘法 转载请注明出处： http://blog.fens.me/hadoop-mapreduce-matrix/ 前言 MapReduce打开了并行计算的大门，让我们个人开发者有了处理大数据的能力。但想用好MapReduce，把原来单机算法并行化，也不是一件容易事情。很多的时候，我们需要从单机算法能否矩阵化去思考，所以矩阵操作就变成了算法并行化的
MapReduce实现矩阵相乘
小江专栏
03-31 8547
前言 MapReduce打开了并行计算的大门，让我们个人开发者有了处理大数据的能力。但想用好MapReduce，把原来单机算法并行化，也不是一件容易事情。很多的时候，我们需要从单机算法能否矩阵化去思考，所以矩阵操作就变成了算法并行化的基础。 矩阵介绍 为了方便说明，举两个矩阵作为示例： ， 容易看出，是一个矩阵，是一个矩阵，我们能够算出： 这三个矩阵当然不大，但
gandalf-lint：错误代码不能通过
02-05
甘道夫皮棉 错误代码不得通过安装NPM： npm install --save-dev eslint @softboxlab/eslint-config-gandalf-lint 纱： yarn add --dev eslint @softboxlab/eslint-config-gandalf-lint要求 ^5.0.0 ^5.12.0配置通过在...
gandalf:甘道夫->参考佛罗多
04-27
甘道夫 Android库的这种尝试已被弃用，现在他的弟弟Frodo开始发挥作用： ： 地方发展 这是用于执行此示例的一些有用的Gradle / adb命令： gradlew clean build构建整个示例，并执行单元和集成测试以及lint检查。 ...
HalloweenGame：万圣节游戏-CMPE202-先驱者
02-04
在早期的世纪中，在人类的第三年龄，魔术师甘道夫-灰色人已开始在万圣节之夜收集南瓜，以帮助人类保护世界免受可能使用这些南瓜统治所有人的鬼魂时代的侵袭。 帮助我们的魔术师击败黑暗力量。 着急玩吗？ 游戏玩法 ...
【甘道夫】通过Mahout构建贝叶斯文本分类器案例详解--配套代码
01-07
在这个案例的"MRClassify"文件中，可能包含了MapReduce作业的代码，用于执行这些任务。 接下来，我们使用这些特征向量和对应的类别标签来训练贝叶斯模型。在Mahout中，可以使用NaiveBayesTrainer类进行训练。Naive ...
MapReduce实现矩阵相乘算法
11-29
使用Hadoop MapReduce实现两个矩阵相乘算法
hadoop/mapreduce-矩阵乘法 mapreduce的实现（代码）
06-27
最近在研究hadoop与mapReduce，网上教程只有个wordcount程序示范，太简单，故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试，上传供大家学习与参考。 调用方法： 执行：hadoop jar matrix.jar com.baosight.mapred.test.MatrixMulti left:/tmp/a right:/tmp/b output:/tmp/c leftprefix:000000_ rightprefix:000000_ >参数1：left:左矩阵路径 >参数2：right:右矩阵路径 >参数3：output:左矩阵乘右矩阵结果路径 >参数4：leftprefix：左矩阵文件前缀 如/tmp/a/000000_0,000000_1,000000_2……的000000_ >参数5：rightprefix：右矩阵文件前缀 >左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵， 000000_0存放1 0 000000_1存放 0 1
MapReduce矩阵乘法（Java）
08-05
MapReduce矩阵乘法（Java）
基于MapReduce的矩阵相乘算法代码及其使用
04-22
基于MapReduce的矩阵相乘算法代码及其使用
大数据MapReduce实例：实现矩阵乘法
x1Nge的博客
03-23 3287
MapReduce实现矩阵乘法 @author：x1nge 大数据基础实验 目录MapReduce实现矩阵乘法具体分析问题源码 具体分析 1.考虑怎么利用map和reduce来计算矩阵乘法，想到这里的时候我脑子里有成千上万个解法，像map的key和value要怎么输出啊之类的，一时间我不知道哪一种计算方法比较高效，但是经过半节课的深思熟虑以后，我把总体的思路定为：map的key输出空值，va...
大数据Mapreduce编程——矩阵乘法
qq_46138648的博客
02-28 4194
大数据基础编程mapreduce之矩阵乘法
MapReduce:出租车数据案例
01-06 4339
计算出10月1日这天每小时的载客量 CarMapper: package com.hadoop.map; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException...
mapreduce实现矩阵相乘
左手coding，右手cooking
05-25 985
a的map读取读取第一个值是1,1,1。它是矩阵a的第一行第一列。那么它要在计算c(1,1) c(1,2)的时候使用（这里c仅仅用2列，假设用n列，那么它的值要在计算c(1,1),c(1,2),c(1,3)…c(1,n)的时候使用）。我们就以 key = 1,1 value = a,1,1 ， key= 1,2 value = a,1,1输出两条数据(1,1) (1,2)是 c(1
伟大的导师Dan Friedman：程序语言先驱
"本文介绍了Dan Friedman，一位在程序语言领域有着深远影响的学者，...他的形象被比喻为《指环王》中的甘道夫，象征着智慧和指导的力量。通过了解他的故事，人们可以更好地理解一位杰出教育家如何塑造和影响整个领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值