大数据图形处理工具HAMA的安装及测试

本文介绍了Apache HAMA的安装过程,它是一个基于BSP(Bulk Synchronous Parallel)模式的大数据处理工具,用于图形算法。在Hadoop HDFS上搭建HAMA集群,包括配置groomservers、hama-env.sh和hama-site.xml文件,并进行了简单的矩阵生成和PageRank算法测试。
摘要由CSDN通过智能技术生成

由于研究的需要,最近对HAMA做了简单的测试。和大家分享一下。

1.1什么是HAMA

HAMAapache的一个开源项目,作云计算的人都知道mapreduce,但mapreduce编程模式处理的是特定模式的海量数据,但对于需要反复迭代以及图形算法实现则显得不那么灵光。说道HAMA就不得不提BSP模式,这里我就不多说BSP模式,大家自己wiki吧。BSP模式可以实现并行化,HAMAmapreduce一样,只是HAMA将BSP这种模式并行化了,mapreduce将那种统计计算并行化了。

1.2HAMA安装:

本博主要介绍HAMA的安装集测试就不多少原理了。

HAMA是架设在hadoopHDFS之上,文件都存储在HDFS上。所以需要首先安装hadoop集群。Hadoop集群的安装和配置我也不多少了,网上很多安装说明。

我用3台机器架了个集群配置为:

dh1:namenode jobtracker

dh2:datanode tasktracker

dh3:datanode tasktracker

因为集群上有hbase,所以ZooKeeper也不用安装了。ZooKeeper包括dh1,dh2,dh3.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值