一、Storm到底是什么?
1、hadoop与storm
hadoop:离线批处理
- hadoop是离线批处理,每天将所有数据收集起来,第二天凌晨统一批量计算
- 分布式存,把9T数据分散在9台机器上存储,每台机器上存储1T
- 分布式计算,每台机器上就算那一部分的数据(1T),之后汇总起来
- hadoop不能来一条算一条(不能实时计算)
storm:实时计算
- 来一条数据,就算一条,来一条,算一条
2、storm的特点是什么?
(1)支撑各种实时类的项目场景:storm做各种实时类的项目都ok
如热点缓存的实时计算:
拿电商项目热点缓存出现时,多级缓存架构雪崩问题举例
使用storm解决该问题,统计商品访问次数,topn
(2)高度的可伸缩性:如果要扩容,直接加机器,调整storm计算作业的并行度就可以了,storm会自动部署一些的进程和线程到其他的机器上去,无缝快速扩容
并行度:有多少个task在同时运行
(3)超强的健壮性:storm比hadoop、spark等大数据类系统,健壮的多的多,因为