storm介绍
-
概念:storm是一种实时的分布式的流式计算框架。可以用来实时的处理流式数据,因为它是基于内存进行计算的,因此它的计算速度比较快,它与map/reduce相比具有实时性高,计算速度较快的特点,但是它相比于map/reduce而言,它处理的数据较小。map/reduce适合处理数据量较大的离线数据。
-
特征:storm是一个实时性的、分布式的以及具备高容错性的流式的计算系统。
storm的容错机制:当storm宕机、熔断或者处理的数据不完整时要启动
storm的acker的处理。
storm这种拓扑结构被称为有向流程图
-
storm的有关架构:
二、拓扑_累加功能实现
三、storm的伪分布式搭建
四、Storm的伪分布式的安装(安装到node02节点上)
查看storm资料中的storm的部署文档
五、全分布与并发机制
查看storm资料中的storm的部署文档
部署成功后:用浏览器访问:node02:8080则可以看到下面的界面
- storm的并发机制:
- 注意:在从节点也可以进行提交任务,只是任务还是提交到了主节点上(nimbus), 在从节点上是查找不到提交的任务的。
- 可以通过命令行的方式来调整任务数和线程的数量