Apache Flink是一个框架和分布式大数据处理引擎,可对有界数据流和无界数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。
Flink基本概念
流处理:特点是无限、实时,无需针对整个数据集执行操作,而是通过对系统传输的每个数据项执行操作,一般用于实时统计。
有界数据流:有明确定义的开始和结束,可以在执行任何计算之前通过获取所有数据来处理有界流,处理有界流不需要有序获取,因为可以始终对有界数据集进行排序,有界流的处理也称为批处理。
无界数据流:有一个开始但是没有结束,它们不会在生成时终止并提供数据,必须连续处理无界流,也就是必须在获取后立即处理event。
处理无界数据通常要求以特定顺序(如事件发生的顺序)获取event,以便能够推断结果完整性。
个人认为,与