hama-bsp
文章平均质量分 66
ZL小屁孩
这个作者很懒,什么都没留下…
展开
-
安装hadoop-hama
1、 在vmware forlinux上安装Centos6.52、 在centos上配置网络信息3、 Centos创建用户“zhuhaichuan”4、 关闭防火墙5、 配置/etc/hosts文件6、 Jdk安装7、 ssh无密码登陆8、 hadoop配置安装9、 hama配置安装 注意:我的jdk安装在root用户中,ssh、原创 2016-06-18 13:12:57 · 1112 阅读 · 0 评论 -
destination exists and is not a directory
主要是在设置setOutPath的时候会有可能设置错误,输出结果为目录,而非文件,在输出的结果目录下一般情况的结果文件为part-00000原创 2016-01-25 14:14:18 · 2288 阅读 · 0 评论 -
match vertex
数据的输入:1 A 2 3 4 5 14 192 B 8 93 C 84 B 5 75 E 6 76 F7 G8 E9 D 8 1010 E 11 1211 F12 G13 D 514 H 15 16 17 1815 I16 J17 K18 M19 C 2020 H 21 2221 I22 J要查询的数原创 2016-06-14 10:10:51 · 426 阅读 · 0 评论 -
BSP-Apache.HAMA运行过程(框架)
BSP-HAMA运行过程Hama-architectureApache-hama集群是以BSP为框架为基础由一个BSPMaster、(多个)互不关联的GroomServer计算结点、可独立运行的Zookpeer集群组成。BSPMaster采用“先进先出”原则对GroomServer进行监控、job的提交处理、任务的分配和记录整个的运行动态,BSPMaster调用BSP类的set原创 2016-07-01 16:43:03 · 1322 阅读 · 0 评论 -
BSP-Apache HAMA-Graph运行(1)
Apache-HAMA框架图1、由BSPJobClient实现作业提交,实现的方法是:GraphJob.submit()submit的主要内容是VertexID、VertexValue、EdgeValue等信息。2、数据的加载由“Loads vertices into memory ofeach peer,GraphJobRunner.loadVertices(原创 2016-07-01 17:12:52 · 448 阅读 · 0 评论 -
BSP-Apache HAMA-Graph运行(2)
4、障栅同步进入BSPPeerImpl.sync()方法中,sync()方法主要实现的方法是:messenger.getOutgoingBundles()、messenger.transfer()、enterBarrier()、messenger.clearOutgoingMessages()、leaveBarrier()等方法,BSPPeerImpl.sync()代码为: pub原创 2016-07-01 17:20:22 · 886 阅读 · 0 评论 -
BSP-Apache HAMA-Graph运行(3)
5、通信信息接收由localQueue.poll()得出,信息的接收是通过Queue来完成的。在GraphJobRunner.loadVertices()方法完成了信息的发送(send())、传递、障栅同步(sync())、接收(getCurrentMessage())等操作,而且信息的真正发送是在障栅同步(sync())阶段开始的。信息的发送和接收并不是一一对应的原创 2016-07-07 17:08:40 · 498 阅读 · 0 评论 -
apache-hama
hama的vertex比hadoop的mapreduce好用package org.May25.bjfcd201203;import java.io.IOException;import java.math.BigDecimal;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;i原创 2016-06-18 12:49:53 · 767 阅读 · 0 评论 -
apache-hama-kcore
package org.apache.hamaDemo;import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Tex原创 2015-10-31 20:57:31 · 616 阅读 · 0 评论 -
apache-hama集群配置
apache-hama-0.7.0集群的配置原创 2016-05-14 17:18:11 · 480 阅读 · 0 评论 -
图计算Hama-BSP模型的运行流程
Hama-architecture:Apache-hama集群是以BSP为框架为基础由一个BSPMaster、(多个)互不关联的GroomServer计算结点、可独立运行的Zookpeer集群组成。BSPMaster采用“先进先出”原则对GroomServer进行监控、job的提交处理、任务的分配和记录整个的运行动态,BSPMaster调用BSP类的setup方法、bsp方法和cleanu...原创 2018-11-28 16:03:57 · 788 阅读 · 0 评论