图计算
图列
这个作者很懒,什么都没留下…
展开
-
Giraph错误合集
20/09/04 00:40:40 INFO mapreduce.Job: Job job_1599150745535_0002 running in uber mode : false20/09/04 00:40:40 INFO mapreduce.Job: map 0% reduce 0%20/09/04 00:40:40 INFO mapreduce.Job: Job job_1599150745535_0002 failed with state FAILED due to: Applicat原创 2020-09-13 10:51:43 · 185 阅读 · 0 评论 -
Giraph的三个接口
Giraph中的图仅使用Edge接口和Vertex接口构造。Edge包含目标顶点的值/权重和 id。在 Giraph 的图模型中,一个顶点包含一个 ID、一个值和它所有外出的边的列表。Giraph 提供了这些接口的默认实现:DefaultVertex 和 DefaultEdge。这些接口还有其他实现一、Edge接口Edge 界面的类型变量如图 3.1 所示。边包含一个目标顶点 ID,它是类型变量 I ,边数据是类型变量 E 。类型 I 和 E 取决于图形类型。为加载图数据而选择/实现的 InputFor原创 2020-09-12 15:24:50 · 162 阅读 · 0 评论 -
Giraph工作基本构成
苦逼研究生生活开始了,做Giraph平台的优化。记录一下垃圾小白从0开始学Giraph。Giraph工作基本构成Giraph 作业是通过传递一个 Giraph Configuration 对象来创建的,该对象包含 Giraph 用于执行作业的不同属性。主要属性是包含 compute()方法的计算类。该计算方法应用于每一个超步中的所有活顶点。Giraph 还需要知道输入数据的位置,以及如何读取数据和创建图表。Giraph 使用在Giraph Configuration 对象中指定的 InputFormat原创 2020-09-11 20:34:15 · 164 阅读 · 0 评论 -
Hadoop平台上实现PageRank算法
学习Hadoop已经有段时间了,自己尝试写了一下PageRank算法。1.mapperpackage myPageRank;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import java.util.StringTokenizer;/** * @原创 2020-09-09 10:01:16 · 406 阅读 · 0 评论 -
Giraph的一些背景介绍
开源项目Giraph的支持者或许都知道,Facebook在开发图谱搜索(Graph Search)服务时,选择采用了Giraph,并开始了对此项开源技术的研究。Facebook将Giraph规模化并作为其Open Graph工具的核心,用来处理数万亿次用户及其行为之间的连接。Giraph的起源据维基百科介绍,Giraph是一个迭代的图计算系统。Giraph计算的输入是由点和直连的边组成的图。例如,点可以表示人,边可以表示朋友请求。每个顶点保存一个值,每个边也保存一个值。输入不仅取决于图的拓扑逻辑,也包括转载 2020-09-04 15:49:20 · 386 阅读 · 0 评论 -
关于图计算的一点点学习
[说明:前几天导师扔给我一篇论文:Pregel,让我看,然后又和我说了Giraph这些。我还未入门,听的我是一脸懵逼]原创 2020-07-20 11:04:04 · 276 阅读 · 0 评论