【甘道夫】MapReduce实现矩阵乘法--实现代码

最新推荐文章于 2022-02-28 14:16:19 发布
最新推荐文章于 2022-02-28 14:16:19 发布
阅读量2.6k 收藏 6
点赞数 1
分类专栏： Hadoop2.0 算法 Hadoop 文章标签： hadoop mapreduce matrix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010967382/article/details/25909759
版权
本文提供了MapReduce实现矩阵乘法的详细代码，包括驱动类MMDriver、Map类MMMapper和Reduce类MMReducer。通过Java编程，演示如何在Hadoop 2.2.0环境下处理矩阵数据并进行乘法运算。
摘要由CSDN通过智能技术生成

之前写了一篇分析MapReduce实现矩阵乘法算法的文章：

【甘道夫】Mapreduce实现矩阵乘法的算法思路

为了让大家更直观的了解程序执行，今天编写了实现代码供大家参考。


编程环境：

java version "1.7.0_40"

Eclipse Kepler

Windows7 x64

Ubuntu 12.04 LTS

Hadoop2.2.0

Vmware 9.0.0 build-812388


输入数据：

A矩阵存放地址：hdfs://singlehadoop:8020/workspace/dataguru/hadoopdev/week09/matrixmultiply/matrixA/matrixa

A矩阵内容：
3 4 6
4 0 8

matrixa文件已处理为(x,y,value)格式：

0 0 3

0 1 4

0 2 6

1 0 4

1 1 0

1 2 8



B矩阵存放地址：hdfs://singlehadoop:8020/workspace/dataguru/hadoopdev/week09/matrixmultiply/matrixB/matrixb

B矩阵内容：
2 3
3 0
4 1

matrixb文件已处理为(x,y,value)格式：

0 0 2

0 1 3

1 0 3

1 1 0

2 0 4

2 1 1


实现代码：

一共三个类：

  • 驱动类MMDriver
  • Map类MMMapper
  • Reduce类MMReducer

大家可根据个人习惯合并成一个类使用。


package dataguru.matrixmultiply;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
i
最低0.47元/天 解锁文章
Gandalf_lee
关注
专栏目录
MapReduce矩阵乘法（Java）
08-05
MapReduce矩阵乘法（Java）
MapReduce实现矩阵乘法
沉潜飞动
10-10 2万+
在海量数据中淘金，已是各大互联网公司的既定目标，亚马逊是数据化运营的成功典范，Google、百度投巨资用于对海量数据进行深度学习研究，阿里把数据与平台、金融并列成为未来三大战略。想在海量数据中淘到金子，强大的挖掘工具是必不可少的，而诸如回归、聚类、主成分分析、决策树等数据挖掘算法常常涉及大规模矩阵运算。这其中，大矩阵乘法具有较大的时间消耗，是算法的瓶颈。所以将矩阵乘法移植到分布式系统中进行运算，可谓是基本需求，所以本文暂且从最基础开始，简单介绍使用MapReduce实现矩阵乘法的方式。
hadoop/mapreduce-矩阵乘法 mapreduce的实现（代码）
06-27
最近在研究hadoop与mapReduce，网上教程只有个wordcount程序示范，太简单，故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试，上传供大家学习与参考。 调用方法： 执行：hadoop jar matrix.jar com.baosight.mapred.test.MatrixMulti left:/tmp/a right:/tmp/b output:/tmp/c leftprefix:000000_ rightprefix:000000_ >参数1：left:左矩阵路径 >参数2：right:右矩阵路径 >参数3：output:左矩阵乘右矩阵结果路径 >参数4：leftprefix：左矩阵文件前缀 如/tmp/a/000000_0,000000_1,000000_2……的000000_ >参数5：rightprefix：右矩阵文件前缀 >左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵， 000000_0存放1 0 000000_1存放 0 1
MapReduce实现矩阵相乘算法
11-29
使用Hadoop MapReduce实现两个矩阵相乘算法
gandalf-lint:错误代码不得通过
05-04
甘道夫皮棉 错误代码不得通过 安装 NPM： npm install --save-dev eslint @softboxlab/eslint-config-gandalf-lint 纱： yarn add --dev eslint @softboxlab/eslint-config-gandalf-lint 要求 ^5.0.0 ^5.12.0 ...
gandalf-lint：错误代码不能通过
02-05
甘道夫皮棉 错误代码不得通过安装NPM： npm install --save-dev eslint @softboxlab/eslint-config-gandalf-lint 纱： yarn add --dev eslint @softboxlab/eslint-config-gandalf-lint要求 ^5.0.0 ^5.12.0配置通过在...
gandalf:甘道夫->参考佛罗多
04-27
甘道夫 Android库的这种尝试已被弃用，现在他的弟弟Frodo开始发挥作用： ： 地方发展 这是用于执行此示例的一些有用的Gradle / adb命令： gradlew clean build构建整个示例，并执行单元和集成测试以及lint检查。 ...
HalloweenGame：万圣节游戏-CMPE202-先驱者
02-04
在早期的世纪中，在人类的第三年龄，魔术师甘道夫-灰色人已开始在万圣节之夜收集南瓜，以帮助人类保护世界免受可能使用这些南瓜统治所有人的鬼魂时代的侵袭。 帮助我们的魔术师击败黑暗力量。 着急玩吗？ 游戏玩法 ...
【甘道夫】通过Mahout构建贝叶斯文本分类器案例详解--配套代码
01-07
在这个案例的"MRClassify"文件中，可能包含了MapReduce作业的代码，用于执行这些任务。 接下来，我们使用这些特征向量和对应的类别标签来训练贝叶斯模型。在Mahout中，可以使用NaiveBayesTrainer类进行训练。Naive ...
基于MapReduce的矩阵相乘算法代码及其使用
04-22
基于MapReduce的矩阵相乘算法代码及其使用
MapReduce实现大矩阵乘法
热门推荐
葱葱的城堡
06-09 4万+
引言 何为大矩阵？Excel、SPSS，甚至SAS处理不了或者处理起来非常困难，需要设计巧妙的分布式方法才能高效解决基本运算（如转置、加法、乘法、求逆）的矩阵，我们认为其可被称为大矩阵。这意味着此种矩阵的维度至少是百万级的、经常是千万级的、有时是亿万级的。举个形象的栗子。至2012年12月底，新浪微博注册用户数超5亿，日活跃用户4629万[1]，如果我们要探索这4000多万用户可以分成哪些类别，
用MapReduce实现矩阵乘法
fens的博客
01-15 1110
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, ...
MapReduce实现矩阵相乘
小江专栏
03-31 8586
前言 MapReduce打开了并行计算的大门，让我们个人开发者有了处理大数据的能力。但想用好MapReduce，把原来单机算法并行化，也不是一件容易事情。很多的时候，我们需要从单机算法能否矩阵化去思考，所以矩阵操作就变成了算法并行化的基础。 矩阵介绍 为了方便说明，举两个矩阵作为示例： ， 容易看出，是一个矩阵，是一个矩阵，我们能够算出： 这三个矩阵当然不大，但
大数据Mapreduce编程——矩阵乘法
qq_46138648的博客
02-28 4248
大数据基础编程mapreduce之矩阵乘法
大数据MapReduce实例：实现矩阵乘法
x1Nge的博客
03-23 3366
MapReduce实现矩阵乘法 @author：x1nge 大数据基础实验 目录MapReduce实现矩阵乘法具体分析问题源码 具体分析 1.考虑怎么利用map和reduce来计算矩阵乘法，想到这里的时候我脑子里有成千上万个解法，像map的key和value要怎么输出啊之类的，一时间我不知道哪一种计算方法比较高效，但是经过半节课的深思熟虑以后，我把总体的思路定为：map的key输出空值，va...
基于MapReduce的矩阵乘法运算
weixin_30439031的博客
12-31 347
1、采用两个MapReduce运算串联来实现Pik= Mij*Njk 第一步： Map函数：将每个矩阵运算mij传给键值对(j,(M,i,mij)),将每个矩阵元素njk传给键值对(j,(N,k,njk)) Reduce函数：对每个键j，检查与之关联的值的列表。对每个来自M的值(M,i,mij)和来自N的值(N,k,njk)，产生元组(i,k,mijnjk)。对于键j，Reduce函数输出...
【甘道夫】Mapreduce实现矩阵乘法的算法思路
FBI启示录
04-13 1315
大数据计算中经常会遇到矩阵乘法计算问题，所以
hadoop/mapreduce-矩阵乘法的实现代码下载
统计分析与数据挖掘
06-27 3607
最近在研究hadoop与mapReduce，网上教程只有个wordcount程序示范，太简单，故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试，供大家学习与参考。 下载地址： http://download.csdn.net/detail/statdm/4395736 调用方法： 执行：hadoop jar matrix.jar com.ba
1.按文档要求定义法师、战士两个子类，继承Role 2.替换Role中的showInfo方法替换成重写的toString方法 3.测试类中，使用法师、战士进行对战
最新发布
10-14
好的，首先我们需要定义一个名为`Role`的父类作为角色的通用模板，然后创建两个子类`Mage`（法师）和`Warrior`（战士），它们都继承自`Role`。 ```java // 定义Role父类 public abstract class Role { protected String name; public Role(String name) { this.name = name; } // 定义一个抽象的toString方法，用于展示基础信息 @Override public abstract String toString(); } // 定义Mage子类 public class Mage extends Role { public Mage(String name) { super(name); } @Override public String toString() { return "我是魔法师：" + name; } } // 定义Warrior子类 public class Warrior extends Role { public Warrior(String name) { super(name); } @Override public String toString() { return "我是战士：" + name; } } ``` 接下来，我们替换`Role`类中的`showInfo`方法为`toString`方法，因为Java里没有直接的`showInfo`方法，但在实际项目中，`toString`方法可以起到类似的作用： ```java public class Role { // ...其他部分... // 替换showInfo为toString @Override public String toString() { return getClass().getSimpleName() + ": " + name; } } ``` 最后，在测试类中，我们可以创建法师和战士实例，并进行对战： ```java public class BattleTest { public static void main(String[] args) { Mage mage = new Mage("阿尔萨斯"); Warrior warrior = new Warrior("甘道夫"); System.out.println(mage); // 输出：Mage: 阿尔萨斯 System.out.println(warrior); // 输出：Warrior: 甘道夫 // 这里只是一个示例，实际上你可能需要设计更复杂的战斗逻辑 System.out.println("对决结果：" + mage.toString() + " vs " + warrior.toString()); // 输出：对决结果：Mage: 阿尔萨斯 vs Warrior: 甘道夫 } } ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值