###spark版### Spark Graphx 进行团伙的识别（community detection）

最近在使用Spark Graphx，拿Graphx做了点实验。对大规模图常见的分析方法有连通图挖掘，团伙挖掘等。在金融科技领域，尤其风控领域，会有各种重要的关联网络，并且这种网络图十分庞大。 所以，Spark Graphx这种分布式计算框架十分适合这种场景。下面以设备间关联网络（节点数亿级别）为例，采用Graphx做一个设备团伙挖掘demo。团伙识别的算法采用的是Graphx自带的LabelPropagation算法。

下面的是Graphx示例代码(仅仅是demo)：

其中输入文件格式：

A B weight

备注（A，B 代表设备id，String类型，weight：int，关联代表权重）

因为Graphx节点类型只支持Long，不支持String，所以，需要进行相应的转换，这里用到的广播变量进行idmap。

github链接： https://github.com/dylan-fan/spark_graphx_community_detection

[java] view plain copy

1. package com.org.test  
2.   
3. import org.apache.spark.SparkConf  
4. import org.apache.spark.SparkContext  
5. import org.apache.spark.rdd.RDD  
6. import org.apache.spark.graphx._  
7. import scala.collection.mutable.Set  
8.   
9. object DeviceCom {  
10.   def main(args: Array[String]) {  
11.     if (args.length < 3) {  
12.       println("usage: spark-submit com.org.test.DeviceCom <input> <output> <iternum>")  
13.       System.exit(1)  
14.     }  
15.     val conf = new SparkConf()  
16.     conf.setAppName("DeviceCom-" + System.getenv("USER"))  
17.   
18.     val sc = new SparkContext(conf)  
19.   
20.     val input = args(0)  
21.   
22.     val output = args(1)  
23.   
24.     val iternum = args(2).toInt  
25.   
26.     val vids = sc.textFile(input)  
27.       .flatMap(line => line.split("\t").take(2))  
28.       .distinct  
29.       .zipWithUniqueId()  
30.       .map(x => (x._1, x._2.toLong))  
31.   
32.     val vids_map = sc.broadcast(vids.collectAsMap())  
33.   
34.     val vids_rdd = vids.map {  
35.       case (username, userid) =>  
36.         (userid, username)  
37.     }  
38.   
39.     val raw_edge = sc.textFile(input)  
40.       .map(line => line.split("\t"))  
41.     val col = raw_edge.collect()  
42.   
43.     val edges_rdd = sc.parallelize(col.map {  
44.       case (x) =>  
45.         (vids_map.value(x(0)), vids_map.value(x(1)))  
46.     })  
47.   
48.     val g = Graph.fromEdgeTuples(edges_rdd, 1)  
49.     val lp = lib.LabelPropagation.run(g, iternum).vertices  
50.     val LpByUsername = vids_rdd.join(lp).map {  
51.       case (id, (username, label)) =>  
52.         (username, label)  
53.     }  
54.   
55.     LpByUsername.map(x => x._1 + "\t" + x._2).saveAsTextFile(output)  
56.   
57.     sc.stop()  
58.   }  
59. }  

这里，只是采用Graphx做个demo（很简单啦），来测试Graphx在当前数据量级下的相关性能。实际设备团伙挖掘会更复杂，涉及到各种策略制定。