使用Akka实现一个简易版的spark通信框架
需求实现逻辑
启动master和worker
在worker端对应的preStart方法中拿到master的引用对象,通过这个master引用向master发送注册信息,注册信息包含workerId, workCores, workMemory等信息
master接受worker注册信息,保存注册信息在一个map集合当中,key为workerId,value为注册信息样例类。master将w...
原创
2019-08-02 21:13:50 ·
239 阅读 ·
0 评论