Spark Streaming和Storm区别和联系
Spark Streaming和Storm都是将流数据分成一个个小块的批数据(batch)。
处理模型、延迟
Strom:处理的是每次传入的事件。秒内延迟。(最小100ms)
Spark Streaming:处理的是某个时间段窗口内的事件流。秒级延迟。(0.5~2s)
容错、数据保证
Strom:每个单独的记录都会被跟踪。恢复时,意味着状态可能被错误滴更新两次。
Spark Streaming:只是在批处理级别进行跟踪。
适用场景
Strom:实时性要求高,毫秒级延迟,不需要有状态计算。
Spark Streaming:秒级延迟,比Strom吞吐量大,需要有状态计算