本文调研了jstorm的集群架构，包括Client通过Thrift提交Topology到Nimbus，Nimbus调度任务并使用Zookeeper保存状态。Supervisor监听Zookeeper分配任务，启动Worker执行Task。此外，介绍了jstorm的数据流模型，Spout作为数据源，Bolt进行处理，通过Stream连接形成数据流，利用anchoring机制确保数据处理的可靠性。
storm、jstorm 调研系列（一）
jstorm集群框架图
上面的图来自http://www.cnblogs.com/xia520pi/p/4825326.html，我自己再原图上加了一个Client
通过阅读源代码可以发现，client是独立于Nimbus的一段代码，并不是Nimbus上附带的，只是通常情况下，我们在Nimbus上提交Topology而已
整体的过程是这样的：
- Client上提交我们的Topology，其实就是调用submit函数而已，提交一个StormTopology的类，没有什么神奇的地方。将topology提交给Nimbus，而我们的jar包并不是在client上提交传输给nimbus的，而是提前部署到nimbus上，因为在Client上submit函数提供的是一个jarLocation，这个location是nimbus上jar包的location。这里的Client与nimbus交互式利用的Thrift的Server/client模型实现的RPC，利用远程过程调用来实现Topology的提交。可以在jstor的thrift文件中发现这些定义的接口，其中还包含一些killTopology
最低0.47元/天 解锁文章
扫一扫
4703
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
