flink的两种流
- 无界流 (其实就是离线数据源)
- 有界流 (其实就是实时数据源)
两种流分别通过DataStream API和DataSet API进行操作,Flink SQL在API层面上真正统一了实时离线场景,是实现流批一体的关键所在。
flink三种时间
- 事件时间----事件最初发生的时间
- 摄入时间----数据到达flink的时间
- 处理时间----flink开始处理的时间
以温度计为例理解三种时间:
- 事件时间----当你把温度计从腋下取出时,温度采集完毕
- 摄入时间----你拿到眼前一看(flink接收到数据),这个时间就是
- 处理时间----你大脑立马识别出,这是36.8度
你用温度计测量体温,当你把温度计从腋下取出时,温度采集完毕,这个时间点就是事件时间;
几秒后,你拿到眼前一看(flink接收到数据),这个时间就是摄入时间;
然后你大脑立马识别出,这是36.8度,这个时间就是处理时间。
以看电影为例子理解三种时间
- 事件时间----购买电影票,开始等待检票
- 摄入时间----开始检票,等待检票完成
- 处理时间----检票完成,开始看电影
当你从购买电影票知道看电影时,我将步骤分为以下3步。
你去电影院看电影,当你购买电影票后,你需要等待检票,这个时间就是事件事件;
当你开始检票,你还需要过安检、排队,等待检票完成,这个就是处理时间
当你检票完成,开始入座看电影,这个就是摄入时间了