Spark-GraphFrames入门使用示例

GraphFrames简介

GraphFrames是Apache Spark上的图处理框架。

• Pregel Google：内部的分布 式图计算框架
• Giraph ：运行在Hadoop之上的类 Pregel图计算框架
• PowerGraph： 一个支持异步执行方式、利用 共享内存的并行图计算框架
• Graphx： Spark平台下，面向大规 模图计算的组件

GraphFrames库的优势

• 将Spark中的Graph算法统一到 DataFrame接口的Graph操作API接口
• 强力的查询：项目托管在Github上，它基于DataFrame构建 [托管到GitHub上的好处，懂得都懂]
• 基于Spark平台的并行图计算库，受益于DataFrame的高性能和可拓展性
• 多语言支持：支持的语言包括Scala、Java、Python
• 保存和载入图模型：GraphFrames完全支持DataFrame结构的数据源，允许使用熟悉的Parquet、JSON、和CSV读写图。

使用GraphFrames库

目前博主知道的三种方式是
1.目前GraphFrames库还没有并入Spark项目中，使用该库时，要安装GraphFrames包：
$pyspark --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11

2.使用SparkConf的spark.jars.packages属性指定依赖包：

from pyspark import SparkConf
conf = SparkConf().set('spark.jars.packages'
,'graphframes:graphframes:0.5.0-spark2.1-s_2.11')

3.在SparkSession中配置：（Spark2.x版本）

from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.jars.packages' ,'graphframes:graphframes:0.5.0-spark2.1-s_2.11') .getOrCreate()

使用图例

博主使用的就是第一种，这里附上图例

---

下图是安装好之后的使用，没有显示下包的过程。

---

具体下包的过程图是这样的，嗯一共五个modules，其中scala-lang是需要较长时间的，请忽略本人的渣渣网速，诶

最后再温馨提示一下新手小白，第三种配置需要注意spark的版本，1.0的版本的话可能会出现报错现象，继续往下演示。

创建GraphFrame实例

GraphFrame是GraphFrames API的核心抽象编程模型，是图的抽象。

• 顶点DataFrame：必须包含列名为“id”的列，作为顶点的唯一标识d表示顶点V队列
  G∈<V，E>
• 边DataFrame：必须包含列名为“src”和“dst”的列，保存头和尾的唯一标识id

---

>>> from graphframes import *
>>> vertices = spark.createDataFrame([ ("a", "Alice", 34),("b", "Bob", 36)]  , ["id", "name", "age"]) 
>>> edges = spark.createDataFrame([ ("a", "b", "friend")]  , ["src", "dst", "relationship"])
>>> from graphframes import GraphFrame 
>>> graph = GraphFrame(vertices,edges) 

图例如下：

这里习惯性的查看一下具体的方法名有哪些，有兴趣的童鞋最好研读一下文档或者案例
GraphFrames用户指南-Python — Databricks文档.

视图和图操作

GraphFrame提供四种视图：返回类型都是DataFrame

• 顶点表视图：graph.Vertices.show()
• 边表视图：graph.edges.show()
• 三元组(Triplet)视图：graph.triplets.show()
• 模式(Pattern)视图

---

对应的代码片如下：

>> graph.vertices.show() 
+---+-----+---+
| id| name|age| 
+---+-----+---+ 
|  a|Alice| 34| 
|  b|  Bob| 36| 
+---+-----+---+
#顶点表视图
>> graph.edges.show() 
+---+---+------------+ 
|src|dst|relationship| 
+---+---+------------+ 
|  a|  b|      friend| 
+---+---+------------+
#边表视图
>> graph.triplets.show() 
+--------------+--------------+-----------+
|           src|          edge|         dst| 
+--------------+--------------+-----------+ 
|[a, Alice, 34]|[a, b, friend]|[b, Bob, 36]| 
+--------------+--------------+-----------+
#三元组(Triplet)视图

通过GraphFrame提供的三个属性：degrees、inDegrees、 outDegrees可以获得顶点的度、入度和出度。

代码片如下：

>>> graph.degrees.show() 
+---+------+
| id|degree| 
+---+------+ 
|  b|     1| 
|  a|     1| 
+---+------+
#degrees顶点的度
>> graph.inDegrees.show() 
+---+--------+ 
| id|inDegree| 
+---+--------+ 
|  b|       1|
+---+--------+
#inDegrees顶点的入度
>> graph.outDegrees.show() 
+---+---------+ 
| id|outDegree| 
+---+---------+ 
|  a|        1| 
+---+---------+
#outDegrees顶点的出度

模式发现

采用形如“(a)-[e]->(b)”的模式描述有向边

>>> motifs = graph.find("(a)-[e]->(b)")
>>> motifs.show()

模式视图是DataFrame类型的，同样可以进一步进行查询、过滤和统计操作。

>>> motifs.filter("b.age > 30").show()

这里由于示例的图比较简单，所以过滤出来的效果跟find()的结果一样，可以尝试构建更复杂的有向图、无向图、二分图、多重图等尝试进行查询操作，更进一步的理解和掌握。

加载和保存图

图保存

图可以以多种格式进行保存，例如：

• csv/json/parquet/text
  想研究的童鞋可以看看write下的一些方法
  
• 示例代码片如下：

>>> graph.vertices.write.parquet("hdfs://xdata-m1:8020/user/ua50/vertices") 
>>> graph.edges.write.parquet("hdfs://xdata-m1:8020/user/ua50/edges")
#注意这个保存路径是hdfs的

博主演示的是保存在linux下的，注意图保存的是文件夹，如下图：

• parquet的图保存
  
  
• json的图保存，这个格式比较便于查看，请看下图

graph.vertices.write.json("/home/hadoop/spark-graphX/vertices_json")

>>>ls
>>>part-00000-7a9d9acc-50a6-43ec-8b4b-3f29e8546a98-c000.json  _SUCCESS

具体查看的效果是这样的，是不是比较简洁易读：

图加载

>>> v = spark.read.parquet("hdfs://xdata-m1:8020/user/ua50/vertices") 
>>> e = spark.read.parquet("hdfs://xdata-m1:8020/user/ua50/edges") 
>>> newGraph=GraphFrame(v, e) 

图加载可以理解为对图的顶点和边的持久化，可以随时调用和加载。

---

Spark-GraphX图计算入门示例到此尾声，如有纰漏，欢迎各位指出~