Spark GraphX

为什么需要图计算

许多大数据以大规模图或网络的形式呈现
许多非图结构的大数据，常会被转换为图模型进行分析
图数据结构很好地表达了数据之间的关联性

图（Graph）的基本概念

图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构
通常表示为二元组：Gragh=（V，E）
可以对事物之间的关系建模
应用场景
在地图应用中寻找最短路径
社交网络关系
网页间超链接关系

度

度：一个顶点所有边的数量
出度：指从当前顶点指向其他顶点的边的数量
入度：其他顶点指向当前顶点的边的数量

Spark GraphX 简介

GraphX是Spark提供分布式图计算API
GraphX特点
基于内存实现了数据的复用与快速读取
通过弹性分布式属性图（Property Graph）统一了图视图与表视图
与Spark Streaming、Spark SQL和Spark MLlib等无缝衔接

GraphX核心抽象

弹性分布式属性图（Resilient Distributed Property Graph）
顶点和边都带属性的有向多重图
对Graph视图的所有操作，最终都会转换成其关联的Table视图的RDD操作来完成

Graphx api

Graph[VD,ED]
VertexRDD[VD]
EdgeRDD[ED]
EdgeTriplet[VD,ED]
Edge：样例类
VertexId：Long的别名

import org.apache.spark.SparkContext
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession

object GraphDemo1 {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("sparksqldemo")
      .getOrCreate()
    val sc: SparkContext = spark.sparkContext
    //定义顶点
    val vertices: RDD[(Long, Int)] = sc.makeRDD(Seq((1L,1),(2L,2),(3L,3)))
    //定义边
    val edges: RDD[Edge[Int]] = sc.makeRDD(Seq(Edge(1L,2L,1),Edge(2L,3L,1)))
    val graph = Graph(vertices,edges)
    val edges1: EdgeRDD[PartitionID] = graph.edges
    val triplets: RDD[EdgeTriplet[PartitionID, PartitionID]] = graph.triplets
//    vertices.collect().foreach(println)
//    edges1.collect().foreach(println)
//    triplets.collect().foreach(println)

    val graph2: Graph[PartitionID, PartitionID] = GraphLoader.edgeListFile(sc,"in/graph.txt")
    graph2.triplets.collect.foreach(println)
  }
}

构建用户合作关系属性图

顶点属性
用户名
职业
边属性
合作关系

import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
object GraphDemo2 {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("sparksqldemo")
      .getOrCreate()
    val sc: SparkContext = spark.sparkContext
    val users: RDD[(VertexId, (String, String))] = sc.makeRDD(Array(
      (3L, ("rxin", "student")),
      (7L, ("jgonzal", "postdoc")),
      (5L, ("franklin", "professor")),
      (2L, ("istoial", "professor"))
    ))

    val relationShips: RDD[Edge[String]] = sc.parallelize(
      Array(
        Edge(3L, 7L, "collaborator"),
        Edge(5L, 3L, "Advisor"),
        Edge(2L, 5L, "Colleague"),
        Edge(5L, 7L, "pi")
      )
    )
    relationShips
    val graph = Graph(users,relationShips)
    graph.vertices.collect().foreach(println)
    graph.edges.collect.foreach(println)
    graph.triplets.collect().foreach(println)
  }
}

构建用户社交网络关系

顶点：用户名、年龄
边：打call次数
找出大于30岁的用户
假设打call超过5次，表示真爱。请找出他（她）们

    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("sparksqldemo")
      .getOrCreate()
    val sc: SparkContext = spark.sparkContext
    //创建users顶点
    val users: RDD[(VertexId, (String, PartitionID))] = sc.makeRDD(
      Array(
        (1L, ("Alice", 18)),
        (2L, ("Bob", 27)),
        (3L, ("Charlie", 65)),
        (4L, ("David", 42)),
        (5L, ("Ed", 55)),
        (6L, ("Fram", 50))
      )
    )
    //创建边
    val callNum: RDD[Edge[PartitionID]] = sc.parallelize(
      Array(
        Edge(2L, 1L, 7),
        Edge(2L, 4L, 2),
        Edge(3L, 2L, 4),
        Edge(3L, 6L, 3),
        Edge(4L, 1L, 1),
        Edge(5L, 2L, 2),
        Edge(5L, 3L, 8),
        Edge(5L, 6L, 3)
      )
    )
    //创建图对象
    val graph = Graph(users,callNum)

//找出大于30岁的用户
graph.vertices
.filter(x=>x._2._2>30)
.foreach(println)

//样例类
    val rdd2: VertexRDD[(String, PartitionID)] = graph.vertices
      .filter { case (id, (name, age)) => age > 30 }
    rdd2.collect()
      .foreach(println)

假设打call超过5次，表示真爱。请找出他（她）们

graph.edges
        .filter(x=>x.attr>5)
      .foreach(println)
    val rdd22: RDD[EdgeTriplet[(String, PartitionID), PartitionID]] = graph.triplets.filter(x=>x.attr>5)
    rdd22.collect().foreach(println)