spark找共同朋友的问题

数据格式如下:
“A ,B ,C, D, E, F”,
“B ,A ,C ,D ,E”,
“C,A,B,E”,
“D,A,B,E”,
“E,A,B,C,D”,
“F,A”
第一字母表示本人,其他是他的朋友,找出有共同朋友的人,和共同朋友是谁
直接上代码:

val rdd = sc.makeRDD( Array(
    "A ,B ,C, D, E, F",
    "B ,A ,C ,D ,E",
    "C,A,B,E",
    "D,A,B,E",
    "E,A,B,C,D",
    "F,A"
    )).map( line =>{
      val pair = line.split(",").map( x =>x.trim )
      val f = scala.collection.mutable.ArrayBuffer.empty[String]
      for( i <- 1 until  pair.length )
        f.+=( pair( i ))
      ( pair( 0 ),f )
    })

    val find = rdd.mapPartitions( part =>{
      val s = part.toList
      val result = scala.collection.mutable.ArrayBuffer.empty[(String,ArrayBuffer[String])]
      for( i <- 0 until s.size ){
        for( j <- i+1 until s.size ) {
          val sub =  s(i)._2.intersect( s( j )._2 )
          if( sub.size > 0 )
            result.+=( ( s( i )._1 +"->"+ s( j )._1,sub ) )
        }
      }
      result.iterator
    })

    find.foreach(println(_))

结果如下:
(A->B,ArrayBuffer(C, D, E))
(A->C,ArrayBuffer(B, E))
(A->D,ArrayBuffer(B, E))
(A->E,ArrayBuffer(B, C, D))
(B->C,ArrayBuffer(A, E))
(B->D,ArrayBuffer(A, E))
(B->E,ArrayBuffer(A, C, D))
(B->F,ArrayBuffer(A))
(C->D,ArrayBuffer(A, B, E))
(C->E,ArrayBuffer(A, B))
(C->F,ArrayBuffer(A))
(D->E,ArrayBuffer(A, B))
(D->F,ArrayBuffer(A))
(E->F,ArrayBuffer(A))
这是目前能想到的方法,总感觉还有更加简洁的方法;待续。。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值