图数据库 --- > spark 和janusgraph组合（四）

图数据库 — > Tinkerpop (一)
图数据库 — >Janusgraph 基础 （二）
图数据库 — > hugegraph （三）
图数据库 — > spark 和janusgraph组合（四）
图数据库 — > JanusGraph可视化之Gephi （五）

如果janusgraph使用spark进行图算法，一种是利用其本身合成的sparkgraphcomputer，目前已集成了多种算法，并且在不断完善中。另一种比较笨的方法是，将其在程序中显式地处理，即把janusgraph中的所有边，节点提取处理，利用其构造graphX，然后进行处理。

SparkGraphComputer

参考graphcomputer，目前已实现PageRank, PeerPressure, ConnectedComponent, ShortestPath等算法

程序内显式转换

这里需要将spark和janusgraph写到一起，采样的是scala语言，首先先将两者打通，数据转化部分待做，这里记录一起打通中的方法，遇到的问题及怎么解决。

项目文件：

文件目录结构

find .
.
./build.sbt
./src
./src/main
./src/main/scala
./src/main/scala/JanusGraphScalaExample.scala
./data
./data/users.txt
./data/folowers.txt

安装包版本

安装scala版本：
2.11.8
spark-shell看到的scala版本：
2.11.8
spark版本：
spark-2.1.1-bin-hadoop2.7
sbt版本：
1.1.1

sbt构建文件

organization := "pluradj"
name := "janusgraph-scala-example"
version := "1.0"
scalaVersion := "2.11.8"

licenses += "Apache-2.0" -> url("http://www.apache.org/licenses/LICENSE-2.0.html")

libraryDependencies += "org.janusgraph" % "janusgraph-core" % "0.2.0"
libraryDependencies += "org.slf4j" % "slf4j-simple" % "1.7.12"

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "2.1.1",
    "org.apache.spark" %% "spark-sql" % "2.1.1",
    "org.apache.spark" %% "spark-mllib-local" % "2.1.1",
    "org.apache.spark" %% "spark-mllib" % "2.1.1",
    "org.apache.spark" %% "spark-graphx" % "2.1.1"
)

主程序文件

import org.janusgraph.core.JanusGraphFactory
import org.janusgraph.graphdb.database.management.ManagementSystem
import org.apache.tinkerpop.gremlin.structure.Edge
import org.apache.tinkerpop.gremlin.structure.Vertex
import org.apache.spark.graphx.GraphLoader
import org.apache.spark.sql.SparkSession
import org.apache.log4j.{
   Level, Logger}


object JanusGraphScalaExample {
   
  def main(args: Array[String]): Unit = {
   
    // create graph
    val graph = JanusGraphFactory.open("inmemory")
    val g = graph.traversal()

    // create graph schema
    var mgmt = graph.openManagement()
    val person = mgmt.makeVertexLabel("person").make()
    val name = mgmt.makePropertyKey("name").dataType(classOf[String]).make()
    val nameIndex = mgmt.buildIndex("nameIndex", classOf[Vertex]).addKey(name