scala------基于actor并发的wordcount

最新推荐文章于 2022-06-30 14:15:45 发布

luoyunfan6

最新推荐文章于 2022-06-30 14:15:45 发布

阅读量139

点赞数

分类专栏： Scala

本文链接：https://blog.csdn.net/luoyunfan6/article/details/100054345

版权

Scala 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用Scala的Actor模型进行并发处理，以实现经典的WordCount例子。通过这种方式，展示了Scala在并行计算中的强大能力。

摘要由CSDN通过智能技术生成

package actor
import scala.actors.Actor
import scala.actors.Future
import scala.collection.mutable.{HashSet, ListBuffer}
import scala.io.Source
class Task extends  Actor{
  override def act(): Unit = {
    loop{
      react{
        case SubmitTask(fileName) =>{
          val result = Source.fromFile(fileName).getLines().flatMap(_.split(" "))
            .map((_,1)).toList.groupBy(_._1).mapValues(_.size)
          sender ! ResultTask(result)
        }

        case  StopTask  =>  exit()
      }
    }
  }
}
case object StopTask
case class SubmitTask(fileName:String)
case class ResultTask(result:Map[String,Int])
object ActorWordCount {
  def main(args: Array[String]): Unit = {
    val replySet = new HashSet[Future[Any]]()
    //汇总
    val resultList = new ListBuffer[ResultTask]()
    val files = Array[String]("C:\\Users\\luoyunfan\\Desktop\\1.txt","C:\\Users\\luoyunfan\\Desktop\\2.txt","C:\\Users\\luoyunfan\\Desktop\\3.txt")
    for(f<-files){
      val actor = new Task
      val reply = actor.start() !! SubmitTask(f)
      replySet += reply
    }


    while(replySet.size>0){
       val q = replySet.filter(_.isSet)

      for(f <- q){
        val result = f.apply().asInstanceOf[ResultTask]
        resultList+=result
        println(resultList)
        replySet-=f
      }

      Thread.sleep(100)
    }

    //汇总的功能
    val res = resultList.flatMap(_.result).groupBy(_._1).mapValues(_.foldLeft(0)(_+_._2))
    println(res)
  }
}