scala的WordCount案例

WordCount案例
接下来,我们要使用Actor并发编程模型实现多文件的单词统计。
案例介绍
给定几个文本文件(文本文件都是以空格分隔的),使用Actor并发编程来统计单词的数量
思路分析
在这里插入图片描述
实现思路
MainActor获取要进行单词统计的文件
根据文件数量创建对应的WordCountActor
将文件名封装为消息发送给WordCountActor
WordCountActor接收消息,并统计单个文件的单词计数
将单词计数结果发送给MainActor
MainActor等待所有的WordCountActor都已经成功返回消息,然后进行结果合并
步骤1 | 获取文件列表
实现思路
在main方法中读取指定目录(${project_root_dir}/data/)下的所有文件,并打印所有的文件名
实现步骤
创建用于测试的数据文件
加载工程根目录,获取到所有文件
将每一个文件名,添加目录路径
打印所有文件名
参考代码:

// 1. MainActor获取要进行单词统计的文件
val DIR_PATH = "./data/"
val dataDir = new File(DIR_PATH)

// 读取所有data目录下的所有文件
println("对以下文件进行单词统计:")
// 构建文件列表
val fileList = dataDir.list().toList.map(DIR_PATH + _)
println(fileList)

步骤2 | 创建WordCountActor
实现思路

根据文件数量创建WordCountActor,为了方便后续发送消息给Actor,将每个Actor与文件名关联在一起
实现步骤
创建WordCountActor
将文件列表转换为WordCountActor
为了后续方便发送消息给Actor,将Actor列表和文件列表拉链到一起
打印测试
参考代码:

// 2. 根据文件数量创建对应的WordCountActor
val actorList = fileList.map {
   
    x => new WordCountActor
}

// 将Actor和文件名列表建立为元组
val actorWithFileList: List[(WordCountActor, String)] = actorList.zip(fileList)

MainActor.scala

class WordCountActor extends Actor{
   
  override def act(): Unit = {
   
  }
}

步骤3 | 启动Actor/发送/接收任务消息
实现思路
启动所有WordCountActor,并发送单词统计任务消息给每个WordCountActor
在这里插入图片描述
实现步骤
创建一个WordCountTask样例类消息,封装要进行单词计数的文件名
启动所有WordCountTask,并发送异步有返回消息
获取到所有的WordCount中获取到的消息(封装到一个Future列表中)
在WordCountActor中接收并打印消息
参考代码
MainActor.scala

// 3. 将文件名封装为消息发送给WordCountActor,并获取到异步返回结果
val futureList = actorWithFileList.map {
   
    // tuple为Actor和文件名
    tuple =>
    // 启动actor
    tuple._1.start()
    // 发送任务消息
    tuple._1 !! WordCountTask(tuple._2)
}

MessagePackage.scala

/**
  * 单词统计任务消息
  * @param fileName 文件名
  */
case class WordCountTask(fileName:String)

WordCountActor.scala

loop {
   
    receive {
   
        // 接收单词统计任务消息
        case WordCountTask(fileName) => {
   
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值