GraphX环境搭建与API的熟悉
我自己在本机上搭建了GraphX的环境,并测试了几个Demo。这方面的内容,GraphX的官方网站上有详细的介绍,列举几个我个人认为比较基础和重要的关于Graph的Operators:
class Graph[VD, ED] {
//这个是把图存成Table所需要的数据,上一个周报里面提到了
val vertices: VertexRDD[VD]
val edges: EdgeRDD[ED]
val triplets: RDD[EDgeTrplet[VD, ED]]
// 关于cache方面的function, 对优化方面有影响,需要编程的时候比较了解
def persist(newLevel: StorageLevel = StorageLevel.MEMORY_ONLY): Graph[VD, ED]
def cache(): Graph[VD, ED]
// 图形变换方面的function(不改变图的structure, 只改变property)
def mapVertices[VD2](map: (VertexID, VD) => VD2): Graph[VD2, ED]
def mapEdges[ED2](map: Edge[ED] => ED2): Graph[VD, ED2]
def mapEdges[ED2](map: (PartitionID, Iterator[Edge[ED]]) => Iterator[ED2]): Graph[VD, ED2]
def