77-spark与storm比对与选型

大数据实时处理平台市场上产品众多，本文着重讨论spark与storm的比对，最后结合适用场景进行选型。

二、Spark Streaming与Storm的应用场景

适用Storm的场景：

1、需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进行金融交易和分析

2、对于实时计算的功能中，要求可靠的事务机制和可靠性机制，即数据的处理完全精准，一条也不能多，一条也不能少，也可以考虑使用Storm

3、若还需要针对高峰低峰时间段，动态调整实时计算程序的并行度，以最大限度利用集群资源（通常是在小型公司，集群资源紧张的情况），也可以考虑用Storm

4、如果一个大数据应用系统，它就是纯粹的实时计算，不需要在中间执行SQL交互式查询、复杂的transformation算子等，那么用Storm是比较好的选择

适用Spark Streaming的场景：

1、如果对上述适用于Storm的三点，一条都不满足的实时场景，即：不要求纯实时，不要求强大可靠的事务机制