- 首先Flink是一种事件驱动型流式处理框架,也就是说Flink是被动的接受数据的,因为有数据来才会触发后面的运行,对比spark,即使是spark streaming,也是一批一批的取数据,开启之后也能看到它在不断的打印时间戳,时间间隔为spark streaming的批次时间
- Flink可以分为无界流和有界流,区别只在于API读取数据的方法, 这里以java举例,有界流使用readTextFile方法,那么就决定了他总是有个界限的,但是无界流使用socketTextStream,不断的开启一个流,没有停止的时候。
并行度问题
standalone模式
3.其次是Flink的粗略架构,Flink自带调度器,也就是Standalone模式,我们就用这个模式先做试验。首先类比于spark,Flink也分为几个模块组成
主节点是StandaloneSessionClusterEntrypoint,也就是头目,但是执行任务的是TaskManagerRunner,也就是小弟,而小弟又受到 Slots的限制, Slots可以理解为小弟的工具,每个 Slots可以对比为一个线程