spark:倒排索引

最新推荐文章于 2022-12-18 09:18:35 发布

ASD991936157

最新推荐文章于 2022-12-18 09:18:35 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/ASD991936157/article/details/52014781

版权

倒排索引蛮简单的，我们一般是一篇文档中出现了哪些词，倒排索引就是统计出每个词在哪些文档中出现过：

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by fhqplzj on 16-7-24 at 下午4:22.
  */
object InvertedIndex {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("InvertedIndex")
    val sc = new SparkContext(conf)
    sc.textFile("/home/fhqplzj/temp/BeHappy/module1/src/main/scala/app2/input.txt").flatMap {
      line =>
        val arr = line.split("\\s+")
        val map = arr.tail.map((_, arr.head))
        map
    }.groupByKey().foreach {
      case (key, values) =>
        val st = values.mkString("\t")
        println(s"${key}:${st}")
    }
  }
}