大数据
文章平均质量分 93
AlexP5
这个作者很懒,什么都没留下…
展开
-
HPC大规模集群下的Hadoop2.5+Zookeeper3.4+Giraph1.2的配置、安装与应用
因为实验室项目需求需要进行上亿规模的图文件计算,还好学校HPC(高性能计算机中心)有100多台机器可以用,不用花高价买阿里云服务了,不过。。因为HPC的机器都是用来跑mpi程序的,很少进行分布式计算,更坑爹的是里面装的Hadoop2.7.4版本和Giraph不兼容,所以只有全部纯手动进行安装配置了... 在安装的过程中遇到了非常非常多的坑,下面进行学习总结,以防重蹈覆辙。一、项目需求首先简单介绍一...原创 2018-01-20 00:22:16 · 1501 阅读 · 2 评论 -
Hello Giraph
转载自:http://www.cse.cuhk.edu.hk/~ericlo/teaching/bigdata/lab/9-Giraph/#execute Introduction Apache Giraph is an open-source and distributed graph processing system based on Google's Pregel. It adop转载 2018-01-09 16:51:24 · 602 阅读 · 0 评论 -
ubuntu14.04下搭建GraphLab集群
ubuntu14.04下搭建GraphLab集群 1. GraphLab简单介绍 GraphLab是CMU(卡耐基梅隆大学)开发的一个以vertex为计算单元的大规模图处理系统,是继google的Pregel之后的第一个开源的大规模图处理系统,它解决了传统MapReduce框架对于机器学习应用的处理中最突出的两个问题(频繁迭代计算和大量节点通信)引起的计算效率的问题,与Halo转载 2017-12-04 17:00:03 · 394 阅读 · 0 评论