Spark Graphx 进行团伙的识别（community detection）

最新推荐文章于 2021-12-16 19:54:31 发布

范涛

最新推荐文章于 2021-12-16 19:54:31 发布

阅读量1.1w

点赞数 1

分类专栏：编程风控 Spark 复杂网络 | 大规模网络挖掘文章标签： spark graphx

本文链接：https://blog.csdn.net/hero_fantao/article/details/68922611

版权

本文通过Spark GraphX演示了如何在金融科技领域的风控中进行设备团伙挖掘。利用LabelPropagation算法处理亿级别设备关联网络，展示了分布式计算在处理大规模图分析的优势。提供的GitHub链接分享了一个简单的GraphX代码示例，实际应用则需要结合更多策略。

摘要由CSDN通过智能技术生成

最近在使用Spark Graphx，拿Graphx做了点实验。对大规模图常见的分析方法有连通图挖掘，团伙挖掘等。在金融科技领域，尤其风控领域，会有各种重要的关联网络，并且这种网络图十分庞大。所以，Spark Graphx这种分布式计算框架十分适合这种场景。下面以设备间关联网络（节点数亿级别）为例，采用Graphx做一个设备团伙挖掘demo。团伙识别的算法采用的是Graphx自带的LabelPropagation算法。

下面的是Graphx示例代码(仅仅是demo)：

其中输入文件格式：

A B weight

备注（A，B 代表设备id，String类型，weight：int，关联代表权重）

因为Graphx节点类型只支持Long，不支持String，所以，需要进行相应的转换，这里用到的广播变量进行idmap。

github链接： https://github.com/dylan-fan/spark_graphx_community_detection

package com.org.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.graphx._
import scala.collection.mutable.Set

object DeviceCom {
  def main(a