graphx
Running_you
这个作者很懒,什么都没留下…
展开
-
spark组件之graphx图并行计算
这两天接触spark中的graphx组件框架,关于Graph类中的大多数函数使用方法经过简单的尝试验证还是比较容易理解的,独对Graph类中提供的joinVertices和outerJoinVertices方法感到很迷惑,先贴出Graph类提供的变量和方法:class Graph[VD, ED] { // Information about the Graph val numEdges:原创 2016-06-03 17:37:16 · 1622 阅读 · 0 评论 -
spark组件之graphx函数方法(二)
在网络计算中,graphx提供了基本的函数和算法来计算社交网络关系中的三角关系数量,下面简单记录下一组常用的命令作为学习巩固:1.启动spark-shell交互式环境: import org.apache.spark.graphx._ import org.apache.spark.graphx.util._ 2.利用graphx提供的类函数随机产生数据集 注:导入数据集方式(A:RDD原创 2016-06-15 11:17:56 · 2191 阅读 · 0 评论 -
spark组件之graphx函数方法(一)
aggregateMessages类graph提供了聚合方法aggregateMessages,关于使用方法官方给出了具体的案例参考:// Import random graph generation library import org.apache.spark.graphx.util.GraphGenerators // Create a graph with "age" as the vert原创 2016-06-07 18:08:34 · 2205 阅读 · 0 评论 -
图并行计算实践(二)(spark streaming+graphx+kafka)
上回利用transform方法实现对于数据流的图并行计算过程,今天继续改进完善已有的计算机制,加入updateStateByKey和checkpoint机制,保障图并行计算在故障中仍能保证零误差。import kafka.serializer.StringDecoder import org.apache.spark.streaming._ import org.apache.spark.strea原创 2016-09-26 17:21:43 · 1710 阅读 · 0 评论 -
图并行计算实践(一)(spark streaming+graphx+kafka)
上回使用spark streaming实现从kafka中获取实时数据流,进而实现简单业务计算需求,这两天打算将两者的计算复杂度提升,决定引进graphx组件,实现对于复杂图关系的计算,希望在未来某天实现标签图,概率图等实时的并行计算,下面实现的一个简单需求,在周期时间内计算节点的出度关系,例子如下:import kafka.serializer.StringDecoder import org.ap原创 2016-09-24 12:01:10 · 2457 阅读 · 0 评论