目录
- 1、编程模型
- 2、并发度
- 3、架构模型
1、编程模型
- DataSource:外部数据源;
- Spout:接受外部数据源的组件,将外部数据源转化成Storm内部的数据,以Tuple为基本的传输单元下发给Bolt;
- Bolt: 接受Spout发送的数据,或上游的bolt的发送的数据。根据业务逻辑进行处理,发送给下一个Bolt或者是存储到某种介质上,介质可以是Redis可以是mysql,或者其他;
- Tuple:Storm内部中数据传输的基本单元,里面封装了一个List对象,用来保存数据;
- StreamGrouping: 数据分组策略:shuffleGrouping(Random函数), Non Grouping(Random函数), FieldGrouping(Hash取模)、Local or ShuffleGrouping 本地或随机,优先本地。
2、并发度
- 用户指定的一个任务,可以被多个线程执行,并发度的数量等于线程的数量。一个任务的多个线程,会被运行在多个Worker(JVM)上,有一种类似于平均算法的负载均衡策略。尽可能减少网络IO,和Hadoop中的MapReduce中的本地计算的道理一样。
3、架构模型
- Nimbus:任务分配;
- Supervisor:接受任务,并启动worker,worker的数量根据端口号来的。
- Worker:执行任务的具体组件(其实就是一个JVM),可以执行两种类型的任务,Spout任务或者bolt任务。
- Task:Task=线程=executor。 一个Task属于一个Spout或者Bolt并发任务。
- Zookeeper:保存任务分配的信息、心跳信息、元数据信息。