Giraph参数说明

最新推荐文章于 2020-09-12 15:24:50 发布
最新推荐文章于 2020-09-12 15:24:50 发布
阅读量336 收藏
点赞数
分类专栏： graphdb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houzhizhen/article/details/107528188
版权

公共参数

参数名称简称默认值示例备注
giraph.maxNumberOfSupersteps-15最多迭代次数
giraph.computationClass--org.apache.giraph.examples.PageRankComputationVertex计算class
giraph.vertex.input.dir-vip-/data/data_wdc_600/arc数据输入路径
giraph.vertexInputFormatClass-vif-org.apache.giraph.examples.LongDoubleNullTextInputFormatLong代表Vertex Id的类型，之后的Double代表Vertex的值，Null代表边的
giraph.vertexOutputFormatClass-vof-org.apache.giraph.examples.VertexWithDoubleValueNullEdgeTextOutputFormat计算后，Vertex输出的实现
mapreduce.output.fileoutputformat.outputdir-op-/giraph/test/pagerank-output输出路径
giraph.minWorkers-w-1最少Worker的数量，-w参数同时作用于 giraph.minWorkers和giraph.maxWorkers
giraph.maxWorkers-w-1最多Worker的数量,-w参数同时作用于 giraph.minWorkers和giraph.maxWorkers
giraph.zkList--10.157.11.170:2181zookeeper的地址列表，用于同步
giraph.yarn.task.heap.mb-yh102410000在Yarn上运行的Worker节点的内存
giraph.partitionClass-org.apache.giraph.partition.SimplePartitionorg.apache.giraph.partition.DiskBackedPartitionPartition的实现，可以把部分数据放到磁盘
giraph.max.edges.per.segment-5120010485760当Partition在内存存放的所有顶点的边超过此阈值时，会把内存的顶点写到磁盘，作为一个segment
giraph.disk.backed.partition.edges.immutable-falsetrue在计算过程中vertex的边的信息是否不变，如果不变，则把边的信息和顶点信息存储在不同的文件里
giraph.messageStoreFactoryClass-org.apache.giraph.comm.messages.InMemoryMessageStoreFactoryorg.apache.giraph.comm.messages.DiskBackedMessageStoreFactoryDiskBackedMessageStoreFactory可以用磁盘作为存储，用于大数据量计算
giraph.max.messages.per.segment-1048576104857600当消息的数量超过此阈值时，把内存中的消息写到磁盘
giraph.userPartitionCount默认和worker的数量一致255数据分区的数量
graph.numComputeThreads-15每个Worker的计算线程数，因为共255个partiton，51个worker，所以设置为5，所有的partition都可以并行计算
giraph.numInputThreads-15输入线程的数量，输入线程的数量和partition没有关系，和数据的分片有关系，HDFS的分片是一个Block大小，本地文件系统的一个分片是32M
giraph.message.async.enabled-falsetrue消息是否异步发送到远程worker，默认同步
giraph.message.queue.size-101000消息异步发送队列大小 ，一个block是52K
giraph.message.send.thread.num-110消息异步发送的线程数

PageRank算法私有参数

参数名称简称默认值值备注
giraph.computationClass--org.apache.giraph.examples.PageRankComputationVertex计算class
giraph.vertexInputFormatClass-vif-org.apache.giraph.examples.LongDoubleNullTextInputFormatLong代表Vertex Id的类型，之后的Double代表Vertex的值，Null代表边的
giraph.workerContextClass-wc-org.apache.giraph.examples.RandomWalkWorkerContext上下文class
giraph.masterComputeClass--org.apache.giraph.examples.RandomWalkVertexMasterComputeMaster的实现class
giraph.messageCombinerClass--org.apache.giraph.combiner.DoubleSumMessageCombiner消息合并的class
org.apache.giraph.examples.RandomWalkComputation.maxSupersteps-305计算迭代次数
org.apache.giraph.examples.RandomWalkComputation.teleportationProbability-0.150.15权重系数。 顶点的rank值的计算公式：rank = alpha/顶点数量 + (1 - alpha) * 其它顶点贡献的rank值之和。 当alpha比较小时，其它顶点贡献的rank值之和的权重越大，当alpha为0时，顶点的rank值只有其它顶点的贡献，如果没有其它顶点的贡献，它的rank值是0。 相反，alpha比较大，则（alpha / 顶点数量） 这部分的的比重大，最后导致各顶点的rank值越平均，如alpha是1，则每个顶点的rank值都是alpha/(number of vertices)。默认值：0.15，一般取默认值。
---

PageRank算法用户设置参数

参数名称简称默认值值备注
org.apache.giraph.examples.RandomWalkComputation.maxSupersteps-305计算迭代次数
org.apache.giraph.examples.RandomWalkComputation.teleportationProbability-0.150.15-

CONVERGENCE_THRESHOLD=0.00001 是常量

WeakConnetedComponent算法私有私有参数

参数名称简称默认值值备注
giraph.computationClass--org.apache.giraph.examples.LongConnectedComponentsComputationVertex计算class
giraph.vertexInputFormatClass-vif-org.apache.giraph.io.formats.DuplicateLongLongNullTextInputFormat对于读到的每1条边a->b, 生成两条边a->b和b->a
giraph.messageCombinerClass--org.apache.giraph.combiner.MinimumLongMessageCombiner只保留最小的message
giraph.vertexOutputFormatClass-vof-org.apache.giraph.io.formats.IdWithValueTextOutputFormat计算后，Vertex输出的实现
giraph.masterComputeClass--org.apache.giraph.combiner.DoubleSumMessageCombiner消息合并的class
graph.longConnectedComponents.earlyStopActiveVerticesThreshold-0.00010.0001当活动的顶点的比例小于此阈值时，计算结束

WeakConnetedComponent算法用户设置参数

参数名称简称默认值值备注
graph.longConnectedComponents.earlyStopActiveVerticesThreshold-0.00010.0001当活动的顶点的比例小于此阈值时，计算结束
houzhizhen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
哪些命令以apache Giraph编码打开和读取参数文件
04-04
在Giraph中，配置参数文件对于设置和调整Giraph作业的运行至关重要。下面将详细介绍如何在Giraph中以Java编码方式打开和读取参数文件。 1. **参数文件格式** 在Giraph中，参数通常存储在`.properties`文件中，这是...
giraph:阿帕奇吉拉夫的镜子
03-31
《Apache Giraph：大型数据图处理的利器》 Apache Giraph是Apache Hadoop生态系统中的一个开源项目，专门用于处理大规模图数据。它基于Google的Pregel编程模型，旨在实现分布式图计算，使得在分布式环境下解决复杂...
[LintCode] Find the Weak Connected Component in the Directed Graph
11-12 168
Find the number Weak Connected Component in the directed graph. Each node in the graph contains a label and a list of its neighbors. (a weak connected component of a directed graph is a subgr...
网络社区划分算法
热门推荐
qingqingpiaoguo的专栏
08-27 1万+
网络社区划分算法 目录  [隐藏]  1 简介2 构建一个点击流网络3 网络社区划分的两种主要思路：拓扑分析和流分析4 拓扑分析 4.1 计算网络的模块化程度Q-Modularity4.2 计算网络的连边紧密度Edge betweenness4.3 计算网络拉普拉斯矩阵的特征向量Leading eigenvector4.4 通
Giraph 操作参数
weixin_30252709的博客
08-29 144
Giraph Options label type default value description giraph.SplitMasterWorker boolean true Separate the workers and the master tasks. This is required to support...
Giraph 简介
ikroal
08-12 4977
前言 本文主要阐述了 Giraph 由来及其作用，并根据 Giraph 的系统架构和计算模型简要介绍了 Giraph 的运行流程。 什么是 Giraph Giraph 是 Google 于 2010 年发布的论文 Pregel: a system for large-scale graph processing 的开源实现。Giraph 是以 Hadoop 为基础开发的上层应用，其系统架构和计算模...
Giraph 内存测试
cloudeagle_bupt的专栏
03-24 349
package memory; import java.io.IOException; import org.apache.giraph.utils.ExtendedByteArrayDataOutput; import org.apache.giraph.utils.ExtendedDataOutput; import org.apache.hadoop.io.FloatWritable;
Large-Scale Graph Processing Using Apache Giraph
07-05
Large-Scale Graph Processing Using Apache Giraph， Sherif SakrFaisal Moeen OrakzaiIbrahim AbdelazizZuhair Khayyat，2016.
giraph:不可变的图数据结构
05-29
长颈鹿不可变的图数据结构 安装 npm install -S giraphbower install -S giraph用法 require ( 'giraph' ) ( ) . add ( 'a' , { my : 'data' } ) . add ( 'b' ) . add ( 'c' ) . connect ( 'a' , 'b' , 3 ) . ...
Practical Graph Analytics with Apache Giraph(PACKT,2015)
02-17
Practical Graph Analytics with Apache Giraph helps you build data mining and machine learning applications using the Apache Foundation's Giraph framework for graph processing. This is the same ...
Giraph 环境搭建
ikroal
08-18 256
前言 本文主要介绍了 Giraph 的环境搭建过程 运行模式 Giraph 是基于 Hadoop 开发的上层应用，因此其运行模式取决于 Hadoop 的运行模式。关于 Hadoop 的运行模式请参照 Hadoop 基础之搭建环境 一文。 搭建过程 本次环境搭建基于 Hadoop 2.5.1 以及 Giraph 1.2.0，系统环境是 Ubuntu 18.04，JDK 版本是 openjdk8。 ...
阿尔法python 第六章 组合数据类型
他的果壳的博客
03-16 4246
货币转换 人民币和美元是世界上通用的两种货币之一，人民币和美元间汇率固定为：1美元 = 7.00人民币。 请用程序实现 将用户输入的美元转换为人民币，或将输入的人民币转换为美元。 要求如下： (1) 输入输出的人民币采用大写的 RMB 开头，金额可以是整数或小数，如：RMB123 指人民币123元； (2) 输入输出的美元采用大写的 USD 开头，金额可以是整数或小数，如：USD20 指美元 2...
【Giraph】Giraph安装配置及使用教程
HNUJSY
04-28 1342
Giraph配置教程 一、Hadoop 2.7分布式集群环境搭建 1.见：Hadoop 2.7分布式集群环境搭建 2.补充配置mapred-site.xml ： <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </proper...
Label Propagation算法Giraph实现
cloudeagle_bupt的专栏
08-18 782
package org.apache.giraph.examples.lp; import java.io.IOException; import java.util.ArrayList; import java.util.Collections; import java.util.List; import org.apache.giraph.comm.WorkerClientRequestP
Giraph源码分析（六）——Edge 分析
cctree123456的博客
08-12 144
1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有 VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。 片段代码如下。 2.org.apache.giraph.edge.Edge 接口，用于存储顶点的边，每条边包含targetVertexId...
Giraph 运行流程（一）
ikroal
09-23 398
前言 本文主要分析了 Giraph1.3 SNAPSHOT 的 Job 提交和初始化的过程。其中 Job 提交部分的分析根据运行在 Standalone 模式下的 Hadoop 部分进行，分析仅涉及本地运行时执行的代码， 而初始化部分则主要根据集群模式进行分析。 示例 Job 该部分不属于源码，而是为了方便分析运行的一个示例 Job，Job 的具体配置和运行在 Giraph 编程实践及源码编译调...
Giraph中的分区数目计算
cloudeagle_bupt的专栏
09-07 288
在PartitionUtils类的computePartitionCount函数中： if (userPartitionCount == USER_PARTITION_COUNT.getDefaultValue()) { float multiplier = GiraphConstants.PARTITION_COUNT_MULTIPLIER.get(conf);
Giraph的三个接口
TulieCS的博客
09-12 153
Giraph中的图仅使用Edge接口和Vertex接口构造。Edge包含目标顶点的值/权重和 id。在 Giraph 的图模型中，一个顶点包含一个 ID、一个值和它所有外出的边的列表。Giraph 提供了这些接口的默认实现：DefaultVertex 和 DefaultEdge。这些接口还有其他实现 一、Edge接口 Edge 界面的类型变量如图 3.1 所示。边包含一个目标顶点 ID，它是类型变量 I ，边数据是类型变量 E 。类型 I 和 E 取决于图形类型。为加载图数据而选择/实现的 InputFor
Giraph源码分析（九）—— Aggregators 原理解析
Hama White 的博客
05-22 4335
改进：采用分片聚集 (sharded aggregators) . 在每个超级步的最后，每个聚集器被派发给一个Worker，该Worker接受和聚集其他Workers发送给该聚集器的值。然后Workers把自己的所有的聚集器发送给Master，这样Master就无需执行任何聚集，只是接收每个聚集器的最终值。在MasterCompute.compute执行后，Master不是直接把所有的聚集器发送给所有的Workers，而是发送给聚集器所属的Worker，然后每个Worker再把其上的聚集器发送给所有的Wor
Apache Giraph是什么
最新发布
05-26
Apache Giraph是一个基于Hadoop和HDFS的分布式图处理系统。它是一个开源的图处理框架，可以用于处理大规模的图数据。Giraph是基于Pregel模型设计的，使用Bulk Synchronous Parallel（BSP）模型来进行计算，并且支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值