1.实例描述
输入为一批文件,文件内容格式如下:
Id1 The Spark
……
Id2 The Hadoop
……
输出如下:(单词,文档ID合并字符串)
The Id1 Id2
Hadoop Id2
……
2.设计思路
先读取所有文件,数据项为(文档ID,文档词集合)的RDD,然后将数据映射为(词,文档ID)的RDD,去重,最后在reduceByKey阶段聚合每个单词的文档ID
3.代码
import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.SparkContext._
import scala.collection.mutable
object InvertedIndex {