一些算法的MapReduce实现
文章平均质量分 91
joeywen
努力做正确的事
展开
-
一些算法的MapReduce实现——图的BFS遍历
Breadth-first search 简介BFS算法伪代码如下[1]BFS(G, s) for each vertex u ∈ V [G] - {s} do color[u] ← WHITE d[u] ← ∞ π[u] ← NIL //除了源顶点s之外,第1-4行置每个顶点为白色,置每个顶点u的d[u]为无穷大,原创 2014-01-11 14:18:22 · 8003 阅读 · 6 评论 -
一些算法的MapReduce实现——有向图求边的交集
Problem如下图所示,求这三个graph的公共边,也即是途中有色粗线所示Input输入格式:Graph_idsourcedestination 上图数据输入格式例子:graph1node1node3 graph1node1node2 graph1node2node3 graph1node2node7 graph1node2node4 graph1nod原创 2013-12-20 00:37:39 · 2712 阅读 · 3 评论 -
一些算法的MapReduce实现——MapReduce Job的单元测试实例
暂时先放到这个系列里面吧,勿怪!!!MRUnit:Hadoop Testing toolmrunit,MapReduce的一个测试库,由Cloudera开发,集成了Junit的标准测试工具包和MapReduce的测试。使用MRUnit能够很简单的对MapReduce的各个部分进行测试,它很好的把Map和Reduce分离,以便于我们分别对Map阶段和Reduce阶段进行逻辑测试。还可以测原创 2013-12-22 16:36:20 · 1972 阅读 · 0 评论 -
一些算法的MapReduce实现——最小生成树
最小生成树算法学习以下转载自:http://blog.csdn.net/fengchaokobe/article/details/7521780正文 所谓最小生成树,就是在一个具有N个顶点的带权连通图G中,如果存在某个子图G',其包含了图G中的所有顶点和一部分边,且不形成回路,并且子图G'的各边权值之和最小,则称G'为图G的最小生成树。 由定义我们可得知最小原创 2014-01-02 21:41:59 · 3025 阅读 · 2 评论 -
一些算法的MapReduce实现——矩阵分块乘法计算(1)
这里只是讲解矩阵分块计算原理,想看代码直接看后续的一些算法的MapReduce实现——矩阵分块计算(2)矩阵分块简介一个分块矩阵(分段矩阵)就是将矩阵分割出较小的矩形矩阵,这些较小的矩阵就称为区块。换个方式来说,就是以较小的矩阵组合成一个矩阵。通过将大的矩阵通过分块的方式划分,并将每个分块(称为子块)看做另一个矩阵的元素,这样之后再参与运算,通常可以简化运算。例如,有的大矩阵可以通过分块变原创 2013-12-22 00:29:09 · 6588 阅读 · 0 评论 -
一些算法的MapReduce实现——矩阵分块乘法计算(2)
ProblemM*N的矩阵A分割成s*t, N*P的矩阵B分割成t*v,所以Input,M为矩阵,i, j为矩阵M的元素下标,m_ij为矩阵M行列下标为i,j的非0元素 假设矩阵A,B为输入的样例数据如下:A,0,1,1.0A,0,2,2.0A,0,3,3.0A,0,4,4.0A,1,0,5.0A,1,1,6.0A,1,2,7.0A,1,3原创 2013-12-22 00:54:33 · 3913 阅读 · 0 评论 -
一些算法的MapReduce实现——矩阵-向量乘法实现
Problem假定有一个n×n的矩阵M,其第 i 行和第 j 列的元素是m(i,j). 假定有一个n维向量V, 其第 j 个元素记为Vj 。于是,矩阵M和向量V的乘积结果是一个n维向量X,其第 i 个元素x(i)为矩阵M和向量V各自都会在DFS中存成一个文件。假定要么是从矩阵元素在文件中位置,要么是从元素显示存储的三元组(i, j, m[i, j])中,我们都可以获得矩阵元原创 2013-12-21 23:17:18 · 4477 阅读 · 1 评论 -
一些算法的MapReduce实现——1 TB数据排序源码分析
1、概述1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业,在2008年,Hadoop在1TB排序基准评估中赢得第一名,耗时209秒。那么Terasort在Hadoop中是怎样实现的呢?本文主要从算法设计角度分析Terasort作业。2、算法思想实际上,当我们要把传统的串行排序算法设计成并行的排序算法时,通常会想到分而治之的策略转载 2014-01-11 22:31:03 · 3381 阅读 · 0 评论 -
MapReduce实例——ChainMapper的使用
按照API上的说明:/** * The ChainMapper class allows to use multiple Mapper classes within a single * Map task. * * The Mapper classes are invoked in a chained (or piped) fashion, the output of * th原创 2014-01-11 19:02:03 · 2298 阅读 · 0 评论 -
一些算法的MapReduce实现——好友推荐
Problem”If two people in a social network have a friend in common, then there is an increased likelihood that they will become friends themselves at some point in the future.“------by Network原创 2013-12-17 20:01:15 · 6308 阅读 · 1 评论 -
一些算法的MapReduce实现——倒排索引实现
Introduce to Inverted List倒排索引(英语:Inverted index),也常被称为反向索引、置入档案或反向档案,是一种索引方法,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式:一条记录的水平反向索引(或者反向档案索引)包含每个引用单词的文档的列表。一个单词的水平反向原创 2014-01-05 14:52:17 · 6183 阅读 · 1 评论 -
一些算法的MapReduce实现——矩阵相乘一步实现
Problem让m * n矩阵A和n * p 的矩阵B相乘原创 2013-12-16 23:12:54 · 2789 阅读 · 0 评论