- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hama学习笔记（4）-消息的发送与存储
Hama的文档目前还不详细，没有找到关于Hama如何发送消息的说明，只好自己动手做实验了。 按照BSP的模型，每一个超步应该是有明确的三个步骤的：计算->通信->同步 但是Hama当中，在节点进入同步状态之前，是否可以和其他结点即时地收发消息呢？如果可以，无疑会使得bsp程序更加灵活，但是这样也会带来不必要的麻烦：如果bsp程序设计不当，各个节点之间随意通信可能会使得程序的性能非常糟糕。 为
2013-01-28 13:08:58
2208
1
原创 hadoop学习笔记（8）-hosts文件配置的问题
环境： Centos6.3 x64 jdk-1.6.0 u38 x64 hadoop-1.0.4 搭建集群时遇到一个问题: 在namenode和jobtracket节点的日志中总是在报以下的错误： java.io.IOException: could only be replicated to 0 nodes，instead of 1 以及找不到jobtracker.info
2013-01-26 10:36:59
4298
2
原创 局域网中linux主机之间同步时间的一种笨方法
这几天在实验室用淘汰的pc搭了一个8个节点的小集群做hama的实验，从重新组装硬件到装系统、配置集群，忙了两天，满身都是灰。 安装集群时，经常需要同步各个节点之间的系统时间，例如hbase集群中，过大的时间差可能会导致诡异的问题 对于几个节点的小集群，可以用NTP(network time protocol)同步时间，而且手动就可以： 选择局域网中的一台机器作为ntp服务器，在这台机器上需要
2013-01-26 10:05:21
4686
原创 Hama学习笔记（3）-编写BSP程序
Hama中提供了BSP框架的编程接口，就像MapReduce一样方便使用。 [引用请注明出处：http://blog.csdn.net/bhq2010/article/details/8531243] BSP框架 首先明确一下BSP的概念： BSP是一个计算框架，按照这个框架编写的BSP程序会在集群的各个节点上做本地的I/O和计算，这一点和MapReduce相似（其实BSP的提出比
2013-01-22 20:26:18
4288
原创 hama学习笔记（2）-在eclipse中编译hama源码、写hama job
写hama job 如果只是写hama job，根本不需要eclipse，所有的代码都可一在一个java文件中搞定。不过用惯了eclipse的人表示vim之类的实在用不惯。 在eclipse中可以建一个user library： 在eclipse菜单栏中：Window->Preferences->Java->Build Path->User Libraries->New新建一个user li
2013-01-17 14:01:17
4526
7
原创 hama学习笔记（1）-配置和启动hama
Apache Hame是Google Pregel的开源实现，与Hadoop适合于分布式大数据处理不同，Hama主要用于分布式的矩阵、graph、网络算法的计算。 简单说，Hama是在HDFS上实现的BSP(Bulk Synchronous Parallel)计算框架，弥补Hadoop在计算能力上的不足。 关于bsp计算模型： http://ieeexplore.ieee.org/xpls/
2013-01-16 19:49:45
4167
jdbc4rdf3x
2013-04-04
Linux Java RXTXcomm
2013-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人