python流处理框架_主流流处理框架比较

关注点

当选择不同的流处理系统时，有以下几点需要注意的：

•

运行时和编程模型：平台框架提供的编程模型决定了许多特色功能，编程模型要足

够处理各种应用场景。这是一个相当重要的点，后续会继续。

•

函数式原语：流处理平台应该能提供丰富的功能函数，比如，

map

或者

filter

这

类易扩展、处理单条信息的函数；处理多条信息的函数

aggregation

；跨数据流、

不易扩展的操作

join

。

•

状态管理：大部分应用都需要保持状态处理的逻辑。流处理平台应该提供存储、访

问和更新状态信息。

•

消息传输保障：消息传输保障一般有三种：

at most once

，

at least once

和

exactly once

。

At most once

的消息传输机制是每条消息传输零次或者一次，即

消息可能会丢失；

A t least once

意味着每条消息会进行多次传输尝试，至少一

次成功，即消息传输可能重复但不会丢失；

Exactly once

的消息传输机制是每条

消息有且只有一次，即消息传输既不会丢失也不会重复。

•

容错：流处理框架中的失败会发生在各个层次，比如，网络部分，磁盘崩溃或者节

点宕机等。流处理框架应该具备从所有这种失败中恢复，并从上一个成功的状态

(无脏数据)重新消费。