使用scala实现wordcount的简单计数

package wordCount

import scala.actors.{Actor, Future}
import scala.collection.mutable.ListBuffer
import scala.io.Source


/**
  * Created by Adminstrator on 2017/6/10.
  */
class MyActorWC extends Actor{
  override def act(): Unit = {
    loop {
      react {
        case WordCount(filePath) => {
          val strList: List[String] = Source.fromFile(filePath).getLines().toList
          val values: Map[String, Int] = strList.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.size)
//          sender ! SendResult(values)
          sender ! values
        }
        case StopProcess() => {
          exit()
        }
      }
    }
  }
}

case class WordCount(var filePath : String)
case class StopProcess()
case class SendResult(var result : Map[String,Int])

object MyWordCount extends  App{
//  val re = ListBuffer[Future[Any]]()
//  val resultMap = ListBuffer[Map[String,Int]]()
  val re = new ListBuffer[Future[Any]]
  val resultMap = new ListBuffer[Map[String,Int]]
  val path = Array("E:\\大数据(临时存放目录)\\测试数据\\a.txt","E:\\大数据(临时存放目录)\\测试数据\\b.txt","E:\\大数据(临时存放目录)\\测试数据\\c.txt")
  for (i <- path){
    val m = new MyActorWC
    m.start()
    val future: Future[Any] = m !! WordCount(i)
    re += future
  }
  while (re.size>0){
    val futures: ListBuffer[Future[Any]] = re.filter(_.isSet)
    for(j <- futures){
      val reMap: Map[String, Int] = j.apply().asInstanceOf[Map[String,Int]]
      resultMap += reMap
      re -= j
    }
    Thread.sleep(1000)
  }

  println("计数结果---》》"+resultMap.flatten.groupBy(_._1).mapValues(_.foldLeft(0)(_+_._2)))

}
 
注意的地方:一:val表示值不可变或者引用不可变,如果是List或者Map,它们的元素是可以改变的。
	    二:val re = ListBuffer[Future[Any]]()引入的是不可变的List,同理Map也一样,如果使用可变的需要new
	    三:j.apply().asInstanceOf[Map[String,Int]]注意异步发送消息返回的类型是否一致,
			  如果返回对象不能使用map接收
 
 
 
 

                
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值