第91讲：Akka第一个案例动手实战架构设计学习笔记

第91讲：Akka第一个案例动手实战架构设计学习笔记

接下来几讲用akka编写案例

本期内容：

1.akka第一个动手案例介绍

2.akka第一个动手案例架构设计

 

本例是单词计数，输入具体内容，akka对单词进行计数。

输入内容：

The quick brown fox tried to jump over the lazy dog and fell on the dog

A dog is a man's best friend

 

Map Task -> Reduce Task --|

                                              |-> Aggregate Task

Map Task -> Reduce Task --|

 

               Master Actor

                            |

    --------------------|---------------------

    |                      |                         |

Map Actor Reduce Actor       Aggregate Actor

 

Master Actor给MapActor发一个字符串

Map Actor根据规则对单词计数，计数完成后把结果传递给MasterActor

MasterActor把MapData以消息发给reduceActor，

reduceActor会reduceByKey,把相同单词（key相同）计数相加。

计算完后再把数据传回给MasterActor。

如果有多条字符串就会有多组reduce结果。

MasterActor再把结果发给AggregateActor，进行最后统计

MasterActor要获得结果需要给AggregateActor发一个空消息，

AggregateActor收到消息就会把所有统计结果发给MasterActor

这就是mapReduce计算模型。

与hadoop的mapreduce不同的是这是基于actor的。

MapActor对map产生的结果进行本地化统计，

AggregateActor才相当于hadoop的reducer。

后面先通过java使用akka。

 

以上内容是从王家林老师DT大数据课程第91讲的学习笔记。
DT大数据微信公众账号：DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号：18610086859
scala第91讲视频观看链接：
http://yun.baidu.com/s/1qWpAzl6
我的百度网盘共享的DT大数据梦工厂王家林老师第1-91讲的视频内容：http://pan.baidu.com/s/1qWK9CMo

今日【DT大数据梦工厂视频】《第91讲：Akka第一个案例动手实战架构设计》
56视频：http://www.56.com/u78/v_MTM4NDkxNzM5.html 
 （DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://url.cn/fSFPjS）