GPS
数据探险家
专注分享Flink、Hadoop、Spark等大数据及AI技术,爱好原创
展开
-
云计算环境下的大规模图数据处理技术
1 引 言图是计算机科学中最常用的一类抽象数据结构, 在结构和语义方面比线性表和树更为复杂, 更具有一般性表示能力。 现实世界中的许多应用场景都需要用图结构表示, 与图相关的处理和应用几乎无所不在。 传统应用如最优运输路线的确定、疾病爆发路径的预测、科技文献的引用关系等; 新兴应用如社交网络分析、语义Web 分析、生物信息网络分析等。虽然图的应用和处理技术已经发展了很长时间, 理论转载 2014-04-30 15:33:45 · 4153 阅读 · 3 评论 -
GPS-Graph Processing System集群安装笔记(一)
1. 下载GPS安装包。在虚拟机上的/home/gougou目录下创建GPS文件夹,进入/home/gougou/GPS,执行下述命令。svn co https://subversion.assembla.com/svn/phd-projects/gps/trunk下载完成后在GPS文件夹下会生成trunk文件夹,trunk文件夹里包含了GPS的源码等文件。把trunk文件夹下的所有文件移动到GPS中,然后删除trunk文件夹。最后把整个GPS文件夹拷贝到test150:/home/gougou目录下。原创 2013-11-21 10:07:40 · 2651 阅读 · 0 评论 -
GPS-Graph Processing System 修改源码经验总结 (四)
本文目的:在修改GPS源码后,详细描述如何编译和分发到各Worker节点上。下面以Graph Coloring 算法为例进行讲解,本文基于GPS的前三篇文章。1. 首先在Master(test150)上修改源码。Graph Coloring算法源码路径:gps.examples.coloring包,主要修改ColoringVertex.java类。该算法在Section(MIS_1)阶段是按照顶点的出度大小概率性的选择UNDECIDED状态的顶点,源码如下:原创 2014-06-06 09:23:24 · 1883 阅读 · 0 评论 -
GPS-Graph Processing System每台机器运行多个Task经验总结(二)
GPS每台机器运行多个Task经验总结1. 集群环境由13台曙光A610服务器组成的集群,具体信息为:test150、test151、test152、test153、test154、test155、test156、test157、test158、test159、test60、test61、test164。每个服务器上都建有gougou用户,test150为master,其余1原创 2013-11-21 10:14:01 · 1627 阅读 · 0 评论 -
GPS-Graph Processing System Graph Coloring算法分析 (三)
Graph coloring is the problem of assigning a color to each vertex of an undirected graph such that no two adjacent vertices have the same color. We implement the greedy algorithm from Scalable parallel graph coloring algorithms. The algorithm iteratively f原创 2014-06-09 20:33:53 · 1618 阅读 · 0 评论