流式处理的原理

接收流式输入

通过通过各种转化，变成一个个消息(storm里是元组，包含多个字段)

可以进行按照时间窗口、数量窗口的聚合

可以按照消息里的某个或某几个字段作为key进行分组，group/partition

 

一些比较高级的功能：

中间状态的记录、结果持久化、消息处理结果反馈(ack机制)、处理语义(exact once、at least once、at most once)

checkpoint、offset  上次消费位置，解决断点继续消费的问题

watermark解决数据延迟的问题