大数据系列修炼-Scala课程91

大数据系列修炼-Scala课程91

---

核心内容:
1、Akka第一个案例动手实战架构设计

---

1、Akka第一个案例动手实战架构设计

1、基于Akka的分布式消息处理系统案例研究设计思路：
一共需要４个actor。首先需要一个总调度的actor,也就是master　actor。这将会把传入的
每行字符串通过消息的方式发送给第一步骤的map操作的actor，然后map actor将map后的结果返回给master　actor。
master actor接收到消息后，将mapdata发送给reduce操作的reduce actor，进行本行的单词统计操作，然后将统计内容返回给
master actor。master　actor接收到reduce data后，再将其发送给用于作最后统计工作的 aggregate　actor。将全部行的reduce data
全部发给Aggregate　actor后，master actor会发送一个result消息给aggregate actor，通知其开始做最后的统计计算。
最后，Aggregate actor将最后的统计结果返回给master actor。
2、本次思路设计中:
Map Actor相当于MapReduce中的Mapper任务。
Reduce Actor相当于MapReduce中的Combiner本地归并任务。
Aggregate Actor相当于MapReduce中的Reduce任务。
Master Actor与其余的3个Actor是通过消息的方式进行相互通信的。

---

如有问题，欢迎留言指正！(本讲没有程序可写了！！！)