Spark Friendship

最新推荐文章于 2022-06-26 17:34:17 发布

张嘉睿大聪明

最新推荐文章于 2022-06-26 17:34:17 发布

阅读量265

点赞数

文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/weixin_45975575/article/details/125447494

版权

这篇博客介绍了如何在DSPPCode.spark.friendship.impl包中的FriendshipImpl类中，通过实现Spark API来处理用户关系数据。具体任务是找出任意两个用户之间的共同好友，并以指定格式输出。代码中展示了如何将输入数据转换为键值对，然后通过groupByKey操作找到共同好友。

摘要由CSDN通过智能技术生成

1、题目描述：

根据输入文本中的用户关系，找出任意两个用户之间的共同好友。
输入格式：输入文本中每行表示一个用户关系，一个用户关系由多个列组成。其中，第一列为用户名，其余列为该用户的好友的用户名，用户名之间用空格分隔。例如，下面第一行表示用户A有B、C、D、E、F五位好友。

A B C D E F
B A C D E
C A B E
D A B E
E A B C D
F A

输出格式: 输出文本的每行表示两个用户的用户名及其所有共同好友的用户名，其中两个用户的用户名按升序字典序进行拼接，所有共同好友的用户名之间以逗号和空格分隔。例如，下面第一行表示用户A和C的两个用户的所有共同好友为B、E。

(AC,[B, E])
(BC,[A, E])
(CE,[A, B])
(AB,[C, D, E])
(AE,[B, C, D])
(CD,[A, B, E])
(DF,[A])
(CF,[A])
(AD,[B, E])
(DE,[A, B])
(BE,[A, C, D])
(BF,[A])
(EF,[A])
(BD,[A, E])

在 DSPPCode.spark.friendship.impl 中创建 FriendshipImpl, 继承 Friendship, 实现抽象方法。
注意：请先完成orderedPairs函数。

2、代码

FriendshipImpl.java

package DSPPCode.spark.friendship.impl;

import DSPPCode.spark.friendship.question.Friendship;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.PairFlatMapFunction;
import scala.Tuple2;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Iterator;
import java.util.List;

public class FriendshipImpl extends Friendship {
  @Override
  public JavaPairRDD<String, Iterable<String>> findFriendShip(JavaRDD<String> lines) {
    JavaPairRDD<String, String> RelRdd = lines.flatMapToPair(
        new PairFlatMapFunction<String, String, String>() {
          @Override
          public Iterator<Tuple2<String, String>> call(String s) throws Exception {
            List<Tuple2<String, String>> resultList = new ArrayList<>();
            String[] RelList = s.split(" ");
            List<String> keyList = orderedPairs(Arrays.copyOfRange(RelList, 1, RelList.length));
            for(String key: keyList){
              resultList.add(Tuple2.apply(key, RelList[0]));
            }
            return resultList.iterator();
          }
        });
    return RelRdd.groupByKey();
  }

  @Override
  public List<String> orderedPairs(String[] strs) {
    List<String> res = new ArrayList<>();
    Arrays.sort(strs);
    for(int i = 0; i < strs.length; i++){
      for(int j = i + 1; j < strs.length; j++){
        res.add(strs[i] + strs[j]);
      }
    }
    return res;
  }
}